2018-京东大数据技术白皮书_120页-5mb

京东大数据技术白皮书总结

核心内容概述

《京东大数据技术白皮书》全面介绍了京东大数据平台的技术架构、数据管理机制、数据产品及应用场景，并对京东大数据的发展历程和未来展望进行了系统总结。该平台作为京东集团的数据中台，支撑了京东无界零售的数据运营与创新，为多个业务领域提供数据支持，推动了京东在大数据和人工智能领域的技术发展。

主要观点与关键信息

1. 京东大数据的发展历程

• 京东大数据平台自2010年启动，历经八年发展，已形成完整的数据服务体系。
• 当前平台已拥有 $40000+$ 服务器，数据规模达 $800\mathrm{PB}+$，每日处理离线数据 $30\mathrm{PB}+$，实时计算每天消费数据记录近万亿条。
• 平台建设了覆盖大数据全生态的技术体系，包括Hadoop、Kubernetes、Spark、Hive、Alluxio、Presto、HBase、Storm、Flink、Kafka等。
• 平台支持离线和实时数据采集、存储、计算、分析、服务等全流程处理。

2. 京东大数据的技术体系

2.1 数据采集和预处理

• 数据直通车是京东的标准数据采集系统，支持离线和实时数据采集。
• 支持多种数据源，如MySQL、日志、HTTP API、JMQ等。
• 支持自动采集和上报，降低数据处理复杂度。

2.2 流量数据采集

• 流量数据采集涵盖浏览器页面、移动设备、客户端和服务器日志采集。
• 采集流程包括日志采集、上报、接收、存储和解析等。
• 针对移动设备，京东自主研发SDK，支持APP应用内的行为日志采集，同时解决了设备标识问题，提出了JDID标识方案。

2.3 数据存储体系

• JDHDFS 是京东自研的大数据分布式存储平台，具备高可用性、高可靠性和可扩展性。
• 支持基于路由的Federation方案、数据生命周期管理、智能选块和跨集群容灾等技术。
• JDHBase 是一个支持高吞吐、低延迟、实时读写的大数据存储系统，具备多活灾备、多租户分组隔离、SQL查询等能力。

2.4 离线计算环境

• 京东大数据平台支持多种离线计算引擎，包括Hive、Pig、Spark SQL、Presto、MapReduce等。
• JDHive 为数据仓库提供高效查询和计算能力，支持SQL查询、多表Join、分页等功能。
• ADHOC查询服务通过Presto和Kylin实现，支持实时和预计算查询。

2.5 实时计算环境

• JRC 实时计算平台支持Storm、Spark Streaming、Flink等框架，实现低延迟、高吞吐的实时计算。
• 平台支持跨周期依赖、数据依赖、任务图形化展现等，提升任务调度的灵活性和可视化能力。
• 支持通过Kubernetes实现资源的统一管理和调度，提升平台的可扩展性与资源利用率。

2.6 机器学习环境

• 京东机器学习平台具备基础架构层、工具层、任务调度层、算法层和API层。
• 支持数据标注、清洗、建模、模型上线等一站式服务。
• 提供统一的Serving平台和跨平台SDK，便于模型的部署与应用。
• 支持多种算法，如统计学习、深度学习等，覆盖图像识别、自然语言处理等多个领域。

2.7 任务管理和调度

• 京东大数据平台支持30万+任务的调度与管理，任务之间存在复杂的依赖关系。
• 任务调度系统具备高可用、资源隔离、动态策略分配等功能。
• 支持任务图形化展现、数据模板、脚本仓库与动态执行等技术，提升任务管理效率。

2.8 资源监控和运维

• 京东大数据平台实现了对集群资源的统一监控，包括服务器、存储、调度、计算框架和业务层。
• 使用Prometheus和Grafana进行监控与可视化，支持报警、信息展示等功能。
• 自动部署系统和服务器资产管理系统实现了对大数据平台的自动化运维管理。

3. 京东大数据的数据管理

• 数据管理框架包括数据架构设计、数据资产管理、数据安全管理、统一指标体系和数据服务管理。
• 数据模型分为五个层次：BDM、FDM、GDM、ADM、DIM，分别对应不同的数据处理粒度。
• 数据资产管理平台通过资产盘点、元数据管理、数据质量管理、资产治理等方式，提升数据资产的可用性与一致性。
• 统一指标体系支持交易、流量、用户、供应链等多个主题，涵盖500+原子指标，提高数据使用效率与共享能力。
• 数据安全管理包括敏感数据集市、IP黑白名单、员工账号绑定、最小化授权策略、数据导出统计等。

4. 京东大数据的应用场景

• 大数据已广泛应用于营销、物流、供应链、智能零售、金融业务创新、时尚创新、人工智能等多个领域。
• 通过数据分析和挖掘，京东实现了个性化商城、智能门店、智能供应链、物流效率提升等应用。

5. 京东大数据的合作生态

• 京东希望输出大数据技术能力，建设开放技术平台，与政府和社会合作，创造更多价值。
• 通过技术输出和生态共建，推动国内大数据产业的发展。

6. 京东大数据的特点

• 高可用和高性能：支持大规模集群运行，保障平台稳定性。
• 一站式服务平台：涵盖数据采集、存储、计算、分析、服务等全链路。
• 可靠的安全保障：提供全面的数据安全管理机制，确保数据安全和合规。

7. 京东大数据展望

• 未来将实现技术融合统一，构建统一的大数据计算平台。
• 倡导开放合作，推动大数据生态的建设。
• 技术前瞻，将Flink作为统一的实时计算引擎，提升计算效率。

总结

《京东大数据技术白皮书》全面展示了京东在大数据领域的技术积累与创新成果。从数据采集、存储、计算到管理、服务和安全，京东构建了完整的大数据平台体系。通过统一的数据管理机制和丰富的产品服务，京东实现了大数据在多个业务场景中的落地应用。未来，京东将继续推动大数据与人工智能的融合，拓展开放合作生态，为国内大数据产业的发展提供技术支撑。