京东大数据技术白皮书-2018.12-120页_5mb

京东大数据技术白皮书总结

核心内容概述

《京东大数据技术白皮书》全面介绍了京东大数据平台的发展历程、技术体系、数据管理、数据产品、应用场景、合作生态、平台特点及未来展望。京东作为领先的互联网科技公司，依托其完整的产业链和丰富的业务场景，构建了国内领先的大数据平台，支撑了企业数据运营和创新。

主要观点

• 数据的重要性：大数据是企业的重要资产，需要持续积累、沉淀和管理。
• 京东大数据发展：自2010年启动大数据研发以来，京东大数据平台已发展为国内一流水平，具备高可用、高性能、一站式服务等特性。
• 技术体系完善：平台涵盖数据采集、存储、计算、机器学习、任务调度、资源监控等多个方面，构建了完整的大数据技术栈。
• 数据管理与安全：通过统一指标体系、数据质量管理、敏感数据集市、最小化授权策略等手段，保障数据的统一、准确、安全。
• 数据产品丰富：平台提供了如京东商智、智能营销、数据管家、祖冲之等数据产品，满足多种业务需求。
• 应用场景广泛：大数据技术在营销、物流、供应链、智能零售、金融、时尚、人工智能等多个领域得到了广泛应用。
• 合作生态与开放平台：京东希望输出自身技术能力，推动大数据产业的发展，建设开放的技术平台，为政府和社会创造价值。
• 技术前瞻性：京东正在探索新技术，如容器化部署、Flink作为统一计算引擎、数据冷热分离等，以应对大数据发展的新趋势。

关键信息

1. 京东大数据的发展历程

• 2010年启动大数据研发，逐步构建起基于Hadoop的分布式计算架构。
• 集群规模达到40000+服务器，数据规模达800PB+，每日处理数据量达30PB+。
• 拥有500+研发团队，累计获得400+技术专利。

2. 京东大数据的技术体系

• 数据采集和预处理：采用数据直通车系统，支持离线和实时数据采集，涵盖多种数据源和采集方式。
• 数据存储体系：包括JDHDFS和JDHBase。JDHDFS具备高可用性、高可靠性，支持多副本策略和智能选块；JDHBase支持高吞吐、低延迟，具备多活灾备、多租户分组隔离、SQL查询支持等能力。
• 离线计算环境：支持Hive、Spark、Presto、MapReduce等计算框架，实现高吞吐和低延迟。
• 实时计算环境：通过JRC平台实现低延迟、高吞吐的实时计算，支持Storm、SparkStreaming、Flink等多种计算框架。
• 机器学习环境：提供一站式机器学习服务，支持CPU、GPU等资源调度，以及数据建模、模型上线、数据标注等功能。
• 任务管理和调度：通过分布式调度平台实现任务实例化、任务调度策略（轮询、并发数、机器资源等）以及跨周期依赖和数据依赖的管理。
• 资源监控和运维：构建了统一监控平台，采用Prometheus进行监控，具备报警、信息展示、信号分层、自动化运维等功能。

3. 京东大数据的数据管理

• 数据架构设计：包括数据缓冲层、基础数据层、通用数据层、聚合数据层、维度层，满足不同业务需求。
• 数据资产管理：通过数据资产地图、元数据管理平台、数据质量监控等手段，提升数据资产的使用效率和质量。
• 统一指标体系：建立统一的数据指标口径，减少重复计算，提升数据共享和一致性。
• 数据安全管理：通过敏感数据集市、IP黑白名单、员工账号绑定、最小化授权策略等措施保障数据安全。
• 数据服务管理：为业务部门提供数据集市服务、数据产品服务，通过SLA协议保障服务质量。

技术亮点与创新

• 数据直通车：统一采集和处理多种数据源，屏蔽数据采集复杂度。
• JDHDFS：具备高可用、高可靠、高扩展性，支持数据生命周期管理、智能选块、跨集群容灾等功能。
• JDHBase：支持多活灾备、多租户隔离、SQL查询等，提升存储和计算效率。
• JRC平台：支持多种计算框架，实现低延迟、高吞吐的实时计算。
• 机器学习平台：提供算法模块、数据标注、模型上线等功能，支持PB级数据处理。
• 统一指标体系：通过指标白皮书和维度白皮书，统一数据口径，提升数据一致性。
• 统一监控平台：基于Prometheus实现统一监控、报警、信息展示和信号分层，提升运维效率。

未来展望

• 融合统一：推动数据与计算、存储等系统的融合，实现更统一的平台架构。
• 开放合作：建设开放的技术平台，推动大数据技术在更广泛领域的应用。
• 技术前瞻：持续探索新技术，如容器化、Flink统一计算、冷热数据管理等，提升平台性能和适用性。

总结

《京东大数据技术白皮书》不仅展示了京东在大数据技术上的深厚积累，还提供了完整的平台架构、丰富的数据产品、多样化的应用场景和严格的数据管理策略。京东大数据平台已经成为企业数据运营的重要支撑，为京东业务发展提供了强有力的技术保障，同时也在推动国内大数据产业的发展。