【赵国祥】抖音集团大数据血缘演进与应用

抖音集团大数据血缘演进与应用总结

核心内容

抖音集团构建了一个覆盖全面、精细化的数据血缘系统，旨在通过数据血缘的管理能力，提升数据开发效率、保障数据质量与安全，并实现数据资产的有效治理。该系统支持从任务、表、列到算子级别的血缘追踪，具备跨Region、非结构化数据源以及应用端的血缘覆盖能力。

主要观点

• 数据血缘的重要性：数据血缘是大数据领域元数据管理的重要组成部分，通过血缘关系可以清晰了解数据的来源与流向，从而支持数据质量、安全和成本治理。
• 血缘系统的建设目标：实现全链路血缘覆盖，支持业务场景下的精准影响分析、快速找数、高效数据治理和安全合规检查。
• 血缘模型的演进：从“写慢读快”到“写快读慢”的血缘模型演进，最终形成混合血缘存储模型，以适应不同场景下的血缘需求。
• 血缘解析的挑战与解决方案：支持多方言、复杂脚本语言解析，采用Antlr和Calcite构建统一的SQL解析器，实现精准的血缘解析。

关键信息

血缘整体介绍

• 抖音集团数据血缘系统覆盖了亿级实体、十亿级实体级血缘、亿级列级血缘和亿级算子级血缘。
• 血缘质量分达到92，各项血缘衡量指标（如覆盖率、准确率、完整率）均较高，但部分指标仍有提升空间。

血缘系统架构

• 精准化解析：支持海量数据、高可靠解析和灵活分析。
• 统一解析服务：基于Antlr + Calcite的统一SQL解析器，能够解析多种计算引擎的SQL语句，生成抽象语法树（AST）。
• 血缘接入服务：
  • 生产血缘：通过统一Schema实现任务代码的白盒化，解析算子级血缘。
  • 跨Region血缘：打通不同Region之间的血缘关系，消除血缘断裂。
  • 应用血缘：连接数据产品应用末端与大数据系统，实现全链路血缘。

血缘应用场景

1. 数据开发：

   • 数据变更影响面评估
   • 快速查看数据计算口径
   • 实时开发任务提效
   • 精准选择待回溯链路
   • 上游数据变化及时感知
   • 数据模型重构高效切换

2. 数据资产：

   • 元数据理解
   • 基于元数据的找数
   • 数据资产价值评估
   • 自动ETL

3. 数据安全：

   • 安全合规检查
   • 标签传播
   • 高敏数据发现

4. 数据治理：

   • 异常数据资产识别
   • 全链路成本核算
   • 链路级时效性保障
   • 链路级准确性保障
   • 高密数据精准识别，发现安全风险

未来展望

• 标准化：将血缘定义与接入流程标准化，确保系统可扩展性与一致性。
• 开放化：基于标准化的服务，开放血缘能力，赋能更多业务场景。
• 精细化：进一步提升血缘的覆盖度与价值，支持更复杂的分析需求。
• 效率与质量提升：利用全链路血缘数据，提高找数与数据生产效率，提供更全面的影响面分析能力，赋能安全合规链路。

血缘衡量指标

总结

抖音集团的数据血缘系统不仅提升了数据管理的效率和质量，还增强了数据安全与治理能力。通过统一的解析服务、跨Region血缘打通和应用端血缘覆盖，系统实现了对大数据全链路的深度理解与控制。未来，抖音将继续推进血缘系统的标准化、开放化与精细化，进一步发挥数据血缘在企业数据管理中的核心价值。