美团技术团队-2019-2021美团技术年货-综合篇-478页_34mb

美团技术年货总结（2019-2021）

核心内容

美团技术年货涵盖数据、安全、测试三大方向，分别从实时数仓建设、数据治理实践、威胁建模方法等方面，总结了美团在技术领域的探索与实践成果。文档内容围绕数据平台的构建、数据治理策略、安全体系的完善以及测试框架的优化，展示美团在技术体系化、标准化、平台化方面的努力。

---

主要观点

1. 实时数仓建设

• 目标：构建端到端低延迟、SQL标准化、快速响应变化、数据统一的实时数据处理体系。
• 架构选择：采用流批结合的方式，解决实时和离线场景的不同需求，同时优化资源利用效率。
• 技术选型：早期使用 Storm，但随着 Flink 的成熟，逐渐向 Flink 迁移，以提升性能和稳定性。
• 平台化建设：通过组件化、配置化、指标管理、元数据管理等手段，提升开发效率和数据可维护性。
• SLA建设：通过埋点和上报机制，对数据处理的端到端效率进行监控和优化。
• 实时OLAP方案：使用 Doris 引擎实现带计算能力的OLAP查询，解决业务回撤计算的难题。

2. 数据治理实践（以美团酒旅为例）

• 背景：随着业务发展，数据量和复杂性迅速增加，数据治理成为保障数据质量、安全和成本的关键。
• 治理目标：
  • 提高数据质量，统一指标逻辑，减少数据冗余。
  • 控制大数据成本，优化存储和计算资源。
  • 提升数据安全，实现数据加密、脱敏和权限管理。
  • 提高运营效率，通过工具和流程减少人工答疑。
• 治理策略：
  • 标准化：制定统一的数据建模、指标管理、数据服务等标准。
  • 组织保障：成立数据管理委员会，协调业务和开发团队，推动治理流程。
  • 技术系统：通过工具（如 Dataman）实现数据治理的自动化和系统化，提升数据质量和运营效率。
• 治理成果：
  • 数据质量问题显著改善，2019年数据任务增长率下降约60%。
  • 大数据成本降低约40%，数据存储和计算资源利用效率提升。
  • 数据安全体系完善，避免了数据泄露风险。
  • 运营效率提升，数据答疑时间减少60%。

3. 威胁建模

• 定义与价值：
  • 威胁建模是一种结构化的方法，帮助识别系统设计中的潜在威胁和风险。
  • 通过威胁建模，可以优化安全设计，提升产品安全能力，满足合规要求。
• 挑战：
  • 缺乏自动化工具；
  • 安全团队缺乏时间和精力；
  • 业务团队对威胁建模理解不足；
  • 威胁建模与敏捷开发流程融合度不高。
• 实施流程：
  • 准备阶段：获得业务团队认同，设计问卷，进行访谈。
  • 团队分工：明确负责、批准、支持、咨询、告知等角色，确保流程清晰。
  • 周期安排：根据业务复杂度和开发节奏，合理安排建模周期。
  • 实施步骤：包括定义资产、识别威胁、评估风险、提出缓解措施。
  • 工具选择：使用 Microsoft Threat Modeling Tool 或 OWASP Threat Dragon，根据需求灵活选择。
• 未来规划：
  • 逐步推进自动治理，通过策略和工具实现威胁的自动识别与处理。
  • 构建智能防御体系，提升整体安全能力。

---

关键信息

实时数仓

• 技术选型：Storm 和 Flink 并存，Flink 逐步成为主流。
• 架构设计：采用 Lambda 与 Kappa 架构的结合，解决流批处理的矛盾。
• 分层设计：包括数据源、实时明细层、汇总层等，支持数据统一管理和多场景复用。
• 平台化建设：通过组件化、配置化、元数据管理等方式，实现统一的数据服务和指标管理。
• OLAP引擎：Doris 作为 OLAP 引擎，支持实时数据的分析和回撤计算。

数据治理

• 数据治理目标：确保数据质量、控制成本、提升安全、优化运营效率。
• 治理内容：
  • 数据质量：通过统一数仓建模、指标管理、数据服务等手段提升数据一致性。
  • 数据成本：通过存储优化、任务清理、资源调度等方式控制大数据成本。
  • 数据安全：从数据采集、存储、应用等环节进行加密、脱敏、权限管理。
  • 数据易用性：通过数据使用指南、答疑机器人等方式提升数据可访问性和使用效率。
• 治理工具：
  • Dataman：用于统一数仓规范、指标逻辑管理、数据服务接口管理。
  • Buffalo：统一数据 API 平台，实现数据服务的统一和高效。
• 衡量指标：
  • 数据治理效果通过质量、成本、安全、效率、易用性五个维度进行评估。
  • 治理过程中建立完整的指标体系，用于长期监控和优化。

威胁建模

• 建模流程：
  • 立项、问卷调查、访谈、绘制数据流图、评估风险、提出缓解措施。
  • 通过Two-Pizza Teams模式组织团队，提升沟通效率。
• 工具与方法：
  • 使用 Microsoft Threat Modeling Tool 或 OWASP Threat Dragon。
  • 建议使用 C4 Model 结合微软威胁模型图例，便于业务团队理解。
• 威胁建模成果：
  • 提升产品安全设计能力，减少安全漏洞。
  • 建立安全合规机制，满足 GDPR、HIPAA 等国际标准。
  • 通过双人复核机制，确保威胁建模结果的准确性。

---

总结

美团在 2019-2021 年间，围绕数据、安全和测试，进行了深入的技术探索和实践，取得了显著的成果：

• 实时数仓：通过流批结合、平台化建设、统一指标和数据服务，实现了数据的高效处理和分析。
• 数据治理：以酒旅业务为例，构建了从数据产生到销毁的全链路治理体系，提升了数据质量、成本控制、安全管理和运营效率。
• 威胁建模：引入系统化安全评估机制，结合敏捷开发流程，提升了产品安全能力，满足合规要求。

这些实践不仅体现了美团在技术能力上的不断深化，也展示了其在数据治理和安全体系构建方面的系统性思考和落地能力。