小米数据平台产品设计思考与实践_27页_3mb

小米数据生产平台设计与实践总结

数据生产链路

数据从采集到应用，贯穿整个生命周期，包括产生、收集、存储、处理和应用。数据来源包括线上终端行为（如支付、点赞、浏览）和线下实体活动（如逛店、拍照）。数据收集需实现跨系统、终端和源头的互联互通，涵盖线上网页、服务端日志、客户端行为以及物联网设备（如传感器、摄像头）和外部爬虫数据。

数据存储选择需考虑结构、规模、使用场景和成本，例如使用关系数据库（如MySQL）、NoSQL（如HBase、MongoDB）、大数据存储（如Hive、Hologres）等。

数据处理

包括ETL（提取、转换、加载）和清洗两个阶段。ETL将数据分层处理，使业务更易于利用；数据清洗则需补充缺失、去除冗余、统一标准，类似于“洗衣服”的整理过程。

数据处理的时延性和来源类型各有不同，离线处理（批量处理历史数据，周期长）与实时处理（流式处理，延迟低）根据业务场景选择。

技术驱动型产品设计

小米数据平台为技术驱动型产品，核心竞争力依赖技术架构。产品经理需具备技术理解能力，协调技术与业务，提升效率。设计方法强调分类分工与协作，技术主导环节与产品主导环节配合，重视用户价值，避免过度炫技。

核心建设思路

小米提出统一数据开发平台，破除分散烟囱式架构，提供一站式服务，提升效率。平台统一基础服务，支持多种存储与计算引擎，增强可扩展性。结合AI技术，优化开发体验，提升查询效率。

小米数据平台注重效能支持和智能改造，推动数据开发更高效、结果更精准，以技术生态为基础，实现数据资产化。