2025-01-09-DAMS-抖音集团大数据血缘演进与应用_24页_2mb

抖音集团大数据血缘演进与应用总结

核心内容

抖音集团通过构建全链路数据血缘系统，实现了对数据资产的全面管理和高效利用。该系统覆盖了从数据生产到应用的整个生命周期，为数据治理、安全、开发等场景提供了强有力的支持。

主要观点

• 数据血缘的重要性：数据血缘是大数据领域元数据管理的关键组成部分，它帮助理解数据来源、流向和依赖关系，从而提升数据质量和安全性。
• 血缘系统的目标：通过精准解析、全面覆盖、跨Region打通和应用端血缘，实现数据链路的可视化和可控性。
• 血缘应用场景：包括数据开发、数据资产、数据安全和数据治理等多个方面，每个场景都依赖于血缘数据来提高效率、保障质量与安全。

关键信息

数据血缘系统建设背景

• 看链路：抖音拥有百万级调度任务，需要血缘来理解整个数据链路。
• 保质量：每日有万级线上数据任务变更，血缘用于评估变更对链路的影响。
• 保安全：对敏感数据如用户类、高密指标等，依赖血缘进行精准发现和传播。
• 降成本：通过血缘系统识别低价值资源，进行有效治理。

数据血缘系统架构

• 全面精准的血缘：解决细粒度血缘解析、非结构化数据源覆盖、跨Region血缘打通和应用端血缘覆盖等挑战。
• 统一解析服务：基于Antlr和Calcite构建统一SQL解析器，支持多种方言和复杂脚本语言。
• 血缘接入服务：
  • 生产血缘：支持Schemaless数据源，如MQ、Redis，实现任务内的算子级血缘。
  • 跨Region血缘：打通不同Region之间的血缘关系，消除血缘断裂问题。
  • 应用血缘：连接数据产品应用末端与大数据系统，实现全链路血缘。

血缘衡量指标

• 血缘覆盖率：任务成功解析数量 / 任务接入数量
• 血缘准确率：（任务成功解析数量－异常解析数量）/任务接入数量
• 血缘完整率：完整任务数量 / 任务接入数量
• 血缘质量分：综合各项指标得出的评估分数，目前为92。

血缘应用场景

• 数据开发：
  • 数据变更影响面评估
  • 快速查看数据计算口径
  • 实时开发任务提效
  • 精准选择待回溯链路
  • 上游数据变化及时感知
  • 数据模型重构高效切换
• 数据资产：
  • 元数据理解
  • 基于元数据的找数
  • 数据资产价值评估
  • 自动ETL等任务
• 数据安全：
  • 安全合规检查
  • 标签传播
  • 高敏数据发现
• 数据治理：
  • 资产识别：异常数据资产识别
  • 成本核算：基于链路级别血缘计算全链路成本
  • 质量保障：链路级别的及时性和准确性保障
  • 安全保障：高密数据精准识别，安全风险发现

未来展望

• 标准化：将血缘定义和接入流程标准化，确保全流程一致性。
• 开放化：基于标准化服务，开放血缘能力，赋能更多业务场景。
• 精细化：进一步构建精细化血缘，提升覆盖度和价值。
• 效率提升：利用全链路血缘数据，提高找数和数据生产效率。
• 质量保障：提供更全面的影响面分析能力，保障数据质量。
• 安全合规：通过血缘数据赋能安全合规链路，提升整体安全性。

总结

抖音集团的数据血缘系统不仅实现了对数据链路的全面可视化，还在数据治理、安全和开发等多个方面发挥了重要作用。通过统一解析、跨Region血缘打通和应用端血缘连接，系统提升了数据管理的效率和质量。未来，抖音将继续推进血缘系统的标准化、开放化和精细化，进一步增强其在数据智能管理中的价值。