赵国祥_抖音集团大数据血缘演进与应用_24页_2mb

抖音集团大数据血缘演进与应用总结

核心内容

抖音集团构建了覆盖全面、精细化的全链路数据血缘系统，旨在通过数据血缘的管理与应用，提升数据开发效率、保障数据质量与安全、优化数据治理流程，并实现降本增效的目标。

主要观点

• 数据血缘的重要性：数据血缘是大数据领域元数据管理的重要组成部分，它描述了数据实体之间的关系，是任务代码的结构化描述语言。
• 血缘系统的目标：通过血缘系统，能够清晰地了解数据链路，评估变更影响，发现高密数据，识别低价值资源，从而实现数据资产的高效管理。
• 血缘系统建设挑战：
  1. 精准化解析细粒度血缘
  2. 覆盖非结构化数据源
  3. 实现跨Region血缘连接
  4. 覆盖调用较大的应用端调用血缘
• 血缘系统解决方案：基于统一解析服务，结合Antlr和Calcite构建SQL解析器，支持多方言解析和复杂脚本语言，实现生产血缘、跨Region血缘和应用血缘的统一接入。
• 血缘应用场景：
  • 数据开发：支持数据变更影响面评估、计算口径查看、实时任务提效、精准回溯、上游变化感知、模型高效切换。
  • 数据资产：提供元数据理解、找数场景支持、数据资产价值评估、AutoETL。
  • 数据安全：支持安全合规检查、标签传播、高敏数据发现。
  • 数据治理：实现低价值/风险资产识别、成本核算、及时性与准确性保障、安全保障。

关键信息

血缘系统指标

• 血缘覆盖率：任务成功解析数量 / 任务接入数量
• 血缘准确率：（任务成功解析数量 - 异常解析数量） / 任务接入数量
• 血缘完整率：完整任务数量 / 任务接入数量
• 血缘质量分：92

血缘模型抽象

• 数据血缘简单抽象为点和边，但实际应用中需要更复杂的模型来支持精准解析和全面覆盖。
• 模型1：写慢读快，适用于部分场景。
• 模型2：写快读慢，适用于需要快速处理的场景。

血缘系统架构

• 统一解析服务：基于Antlr和Calcite构建，支持多方言和复杂脚本语言解析。
• 血缘接入服务：
  • 生产血缘：统一Schema，实现任务内的算子级血缘。
  • 跨Region血缘：消除不同Region之间的血缘断裂，打通全Region血缘。
  • 应用血缘：连通数据产品应用末端与大数据系统，实现全链路血缘。

血缘应用场景

• 数据开发：通过血缘系统，支持变更影响评估、计算逻辑查看、测试链路预览、精准回溯等。
• 数据资产：通过血缘能力，实现元数据理解、找数、资产价值评估、自动化ETL。
• 数据安全：支持高敏数据发现、安全合规检查、标签传播等。
• 数据治理：实现资产识别、成本核算、质量保障、安全保障等。

未来展望

抖音集团未来将重点推进以下方向：

1. 标准化：将血缘定义和接入流程标准化，确保血缘数据的一致性和可管理性。
2. 开放化：基于标准化的服务，开放血缘能力，赋能更多业务场景。
3. 精细化：进一步构建精细化血缘，提升血缘覆盖度。
4. 覆盖 + 价值：通过血缘系统提升找数效率和数据生产效率，实现数据质量保障和安全合规链路构建。

效率与质量提升

• 效率提升：利用全链路血缘数据，提升找数和数据生产效率。
• 质量保障：通过血缘系统提供更全面的影响面分析能力，保障数据质量。
• 安全合规：通过血缘数据赋能安全合规链路，精准识别高敏数据，检测安全风险。

结论

抖音集团的数据血缘系统不仅实现了对海量数据链路的全面覆盖和精准解析，还在数据开发、资产、安全和治理等多个场景中发挥了重要作用。未来，抖音将继续推进血缘系统的标准化、开放化和精细化，以进一步提升数据管理的效率、质量和安全性。