2023数据工程白皮书-思特沃克（Thoughtworks）_37页_9mb

数据工程白皮书总结

核心内容

本白皮书围绕企业数字化转型过程中数据价值的转化路径，系统阐述了数据工程的定义、实施步骤及未来发展趋势，旨在帮助企业构建数据工程体系，实现数据的高效利用与价值转化。核心内容包括：

• 数据作为第五大生产要素，其价值转化对企业发展至关重要。
• 企业数据流转链路包含数据产生、收集、预处理、提炼、服务与治理等阶段。
• 数据工程是一套体系化的实践，旨在提升数据从产生到价值转化的效率，实现数据的规模化使用与管理。
• 数据工程的价值体现在企业、团队与人员三个层面，包括提升业务智慧化、减少内耗、降低人力成本等。

主要观点

1. 数据的重要性与挑战

   • 数据是新一代生产要素，其重要性不断提升。
   • 企业在数据治理、数据平台建设、数据应用等方面面临诸多挑战，如数据治理效果差、数据价值转化慢、人员能力不足等。

2. 数据工程的定义

   • 数据工程是软件工程的一部分，包含需求、设计、构建、测试、维护等阶段。
   • 数据工程不是对传统软件工程的简单复制，而是基于数据特点的工程实践。

3. 数据工程的实施路径

   • 数据工程落地需遵循“数据愿景对齐—数据工程实施—数据持续运营”三步走战略。
   • 每一步都涉及关键步骤，如数据梳理、架构设计、数据接入、数据处理、数据测试、数据安全等。

4. 数据工程的价值体现

   • 企业层面：实现数据融合、共享，提升业务响应能力与数据治理水平。
   • 团队层面：提升协作效率，减少重复开发，推动数据资产的复用。
   • 人员层面：降低开发与运维成本，提升数据处理质量与效率。

5. 数据工程的能力建设

   • 数据工程能力需围绕数据战略、数据思维推广、数据研发团队构建等进行系统化建设。
   • 企业需培养数据工程师、数据产品经理、数据业务分析师等关键角色。

6. 数据工程成熟度评估

   • 建立数据工程成熟度评估体系，有助于识别当前能力水平，明确优化方向。
   • 成熟度评估分为交付阶段与运营阶段，分别以研发效能与数据持续运营为核心。

关键信息

数据流转链路

• 数据产生：来源于业务系统、传感器、在线系统等。
• 数据收集：需遵循无侵入性、无修改性、可追溯性等原则。
• 数据预处理：提升数据信息密度，包括清洗、标注、编码等。
• 数据提炼：通过数据模型、ETL、业务标签等方式提取业务知识。
• 数据服务与应用：通过API、BI报表、AI模型等方式实现数据价值落地。
• 数据治理：贯穿数据生命周期，涉及数据资产、标准、质量、安全等方面。

数据工程实施原则

• 数据分级分类：明确数据边界与安全级别。
• 统一数据口径：确保不同业务系统对同一实体的定义一致。
• 数据owner梳理：明确数据的维护与使用责任。
• 模型分层：分层解耦，提升数据处理与使用效率。
• ETL幂等性：保证重复执行不改变最终结果。
• 日志分类解耦：便于问题定位与运维管理。
• 数据安全测试与性能测试：确保数据在使用过程中的安全与效率。
• 数据持续运营：通过数据资产目录、数据服务监控、数据价值探索等手段实现数据的持续价值输出。

数据架构设计

• 数据架构分为数据仓库、数据湖、湖仓一体等，需根据业务需求选择。
• 数据仓库：适用于结构化数据，强调数据建模与商业智能。
• 数据湖：适用于非结构化与半结构化数据，强调灵活性与原始数据保留。
• 流批一体架构：兼顾实时与离线处理需求，适应业务复杂度。

数据安全

• 数据安全需融入企业整体安全体系，分为基础设施安全、数据安全、隐私信息保护等三个层次。
• 包括数据加密、数据隔离、访问控制、数据溯源、数据销毁等具体措施。

能力复用与保障

• 数据工程需沉淀通用能力，包括工具、平台与解决方案。
• 基础能力复用：ETL工具、数据运维、监控告警等。
• 平台能力复用：一站式数据开发与运维平台。
• 解决方案复用：通过调整通用流程实现快速定制。

数据工程展望

• 未来数据工程将更加注重智能化与自动化。
• 数据处理将向流批一体、湖仓一体等混合架构发展。
• 数据治理将更加体系化与可追溯。
• 数据服务将向可扩展、可监控、可自服务的方向演进。
• 数据工程将推动企业向数据驱动决策与业务创新转型。

数据工程实施步骤

1. 数据愿景对齐：明确业务目标与数据价值场景，进行优先级排序。
2. 数据工程落地：包括数据梳理、架构设计、数据接入、数据处理、数据测试、数据安全等。
3. 数据持续运营：确保数据资产的持续更新与维护，实现数据价值闭环。

数据工程评估

• 通过数据工程成熟度评估体系，可识别企业当前数据工程能力。
• 评估维度包括交付效能、运维效率、数据服务可扩展性、数据治理水平等。

数据工程体系的核心目标

• 提升数据价值转化效率：将数据从成本转化为资产。
• 实现数据工程化：构建可复用、可维护、可扩展的数据能力体系。
• 推动企业数字化转型：支撑业务创新、效率提升与客户体验优化。