欧阳辰_-_亿级大数据实时分析之旅_35页_2mb

DAMS 中国数据资产管理峰会总结

演讲人简介

欧阳辰，拥有15年软件研发经验，曾任职于Oracle和Microsoft，现为小米广告平台和大数据领域的重要技术负责人。他专注于大数据技术的实践与优化，尤其在HBase和实时数据分析工具的应用方面有深入研究。

大数据与价值

• 大数据具有大量、快速、多样、变化等特征。
• 实时数据的价值远高于采样数据，是数据分析的核心。
• 大数据在实际应用中面临“外表光鲜，内则无可奈何”的困境，即技术复杂、变现困难。
• 《大数据的8个小观点》强调了大数据的挑战与机遇，提出了信息回报（ROI）作为衡量数据分析系统效率的关键指标。

小米大数据技术框架

小米构建了基于HBase、Druid、Pinot、KYLIN、KUDU和ElasticSearch等工具的大数据统计分析平台，支持广告营销、搜索推荐、互联网金融、精细化运营、防黄牛、图片分析等多场景应用。

实时数据分析工具

HBase

• 特点：天生为大数据设计，支持灵活的Schema变更，扩容方便，具备高I/O性能。
• 小米改进：
  • 支持多集群多表、强类型、局部二级索引、自动Metrics统计和收集、Salted Table、跨表跨行事务、对象关系映射。
  • 优化措施包括单机多实例、BucketCache（Heap + Offheap）、Compaction限速、Read/Write Quota限制、在线更新集群配置、根据业务类型选择存储介质等。
• 应用：小米在HBase上部署了多个系统，包括广告平台和大数据统计分析平台。

Druid

• 特点：专为OLAP设计，支持各种Filter、Aggregator和查询类型，具有低延迟查询、高可用性、可伸缩性。
• 应用场景：广告实时统计分析（非计费部分）。
• 存储方式：使用时间戳和字典ID进行数据压缩和存储，支持Bitmap存储和聚合-Roll-up、倒排索引等技术。
• 架构：由多个组件组成，包括数据摄入、存储和查询层，支持分布式架构。

Pinot

• 特点：分布式实时OLAP数据分析平台，支持SQL-like查询（不支持JOIN），与Kafka、Hadoop等数据源集成，支持自动数据过期。
• 应用场景：用于LinkedIn内部的多个场景，包括“谁看了我的Profile”、“广告创建与跟踪”等。
• 小米应用：用于广告分析和查询，支持文本查询和计数。

Apache KYLIN

• 特点：分布式分析引擎，支持大部分SQL查询，与BI工具（如Tableau）集成，提供管理界面、任务监控和增量更新。
• 应用场景：Fast Cubing，用于API请求分析、广告返回类型分析等，支持秒级查询延迟。
• 小米应用：用于服务质量监控和问题排查工具。

Apache KUDU

• 特点：来源于Cloudera，支持实时数据分析、数据报表和读写操作。
• 应用场景：小米用于服务质量监控和问题排查工具。
• 实践效果：相比传统ETL方式，Kudu显著提升了查询延迟，实现了快速响应。

ElasticSearch

• 特点：实时分布式搜索引擎和分析引擎，基于Lucene，支持全文检索、结构化搜索和分析。
• 应用场景：广泛应用于Netflix、Wiki百科、Stack Overflow、GitHub、高盛等企业。
• 小米应用：用于搜索场景，支持LOG索引、文本查询和计数。

数据分析工具选择标准

• 信息回报（ROI）：衡量数据分析系统效率的核心指标。
• 分析数据量：数据量越大，系统利用率越高。
• 深度：分析的深度影响系统价值。
• 实时性：实时性越强，系统越有价值。
• 成本：总体成本越低，系统越优。

数据可视化

• 工具：Meteorite（Saiku）、Power BI、Excel、eChart等。
• 应用：支持多维表展示、数据图表生成和实时分析结果的可视化呈现。

用户隐私保护

• 隐私权历史：1890年沃伦和布兰代斯提出隐私权，2012年欧盟提出“Right to be Forgotten”，2006年欧盟《General Data Protection Regulation》。
• 保护措施：
  • 保护儿童数据。
  • 禁止收集个人特别数据（如政治观点、性取向等）。
  • 数据可转移和遗忘。
  • 设立数据保护官（DPO）。
• 小米实践：在数据处理中注重用户隐私保护，强调对用户权利的尊重。

大数据实时分析小结

• 没有实际业务场景的大数据是空洞的。
• 技术选型需结合实际需求，精通和实用才是关键。
• 维度不足是数据分析中的一大痛点。
• 用户隐私保护是大数据应用中不可忽视的重要部分。

小米大数据应用展望

• 大数据技术在广告营销、搜索推荐、互联网金融等场景中发挥重要作用。
• 技术持续演进，小米不断优化和改进大数据工具，以适应业务需求。
• 未来将更加注重数据的实时性、可用性和隐私保护。

结语

“道阻且长，行则将至”，小米在大数据技术的应用上不断探索与实践，致力于推动中国互联网广告技术的发展。