PingCAPTiDB2024实时数据服务平台金融行业实时HTAP场景实践白皮书35页_7mb

实时数据服务平台白皮书总结

核心内容概述

本白皮书探讨了实时数据服务平台在金融行业的应用实践，重点介绍了HTAP（Hybrid Transaction and Analytical Processing，混合事务和分析处理）架构在数据服务消费化和统一实时数据平台建设中的重要性。通过分析不同场景下的数据需求，展示了TiDB HTAP作为一栈式数据服务平台的优势，并结合多个金融行业的实际案例，说明其在实时风控、反洗钱、用户中心、实时数据中台等场景中的应用效果。

主要观点

• 数字化趋势：随着数字化场景的爆发，金融行业对实时数据服务的需求日益增长，促使企业构建统一实时数据平台，以实现“实时汇聚、实时反馈、实时洞察、实时决策”。
• HTAP架构：HTAP是未来数据技术的重要趋势，能够同时支持事务处理（OLTP）和分析处理（OLAP），满足混合负载需求，提供实时分析能力。
• TiDB HTAP优势：TiDB HTAP具备一致性、实时性、对等性和开放性，能够支持海量数据的实时处理和分析，同时具备弹性扩展和统一数据服务的能力。
• 金融场景应用：TiDB HTAP在金融行业被广泛应用，包括实时风控、反洗钱、用户中心、实时数据中台等，有效提升业务效率和数据价值。

关键信息

一、趋势洞察

1. 趋势一：数字化场景爆发需要开源技术体系和云原生基础设施的融合支撑

   • 数字化创新三角包括数字化、开源技术体系和云基础设施。
   • 开源和云原生的结合是满足数字化场景大爆发的关键。
   • 云、数、端构建了企业数字化的三层架构，实时交易、实时风控、个性化营销等场景均需统一的数据服务架构。

2. 趋势二：数据服务消费化催生统一实时数据平台

   • 数据消费化要求数据服务能够支持任意地点、任意时间、任意形式的数据访问。
   • 统一实时数据平台能够简化数据栈，降低IT投资、人力和运维成本。

二、HTAP定义与应用场景

• HTAP是混合事务和分析处理技术，支持实时交易和分析一体化。
• HTAP应用场景包括：
  • 数据密集型应用：如风控、营销等，支持业务交易侧的实时分析。
  • 以“用”为核的实时数据服务平台：支持企业内部各类数据消费者的实时数据访问和使用。

三、TiDB HTAP架构设计

• TiDB HTAP采用行式和列式存储结合的架构，支持OLTP和OLAP的混合负载。
• TiDB v5.0引入MPP模式，提升分析查询性能，提供更优的实时分析能力。
• TiDB支持标准SQL、高并发、强一致性、分布式事务等特性，具备良好的兼容性和扩展性。

四、数据消费三维需求

五、TiDB HTAP差异化优势：四性合一

• 一致性：提供金融级强一致性和可用性，支持多副本同步和多数派写入。
• 实时性：支持实时数据分析，减少数据延迟，提升决策效率。
• 对等性：OLTP和OLAP能力在架构设计上对等，支持灵活扩展。
• 开放性：兼容MySQL协议和生态，支持与Hadoop、Spark、Flink、Kafka等技术栈融合，构建统一的数据服务平台。

六、金融行业HTAP场景实践

1. 信贷和支付类实时风控

   • TiDB HTAP通过实时数据汇聚和分析，支持实时决策，提升风控效率。
   • 实现从“T+1”到“T+0”模式的进化，提升业务响应速度。

2. 内外部监管批量（反洗钱）

   • TiDB支持高并发数据处理，提升反洗钱系统的计算效率和实时性。
   • 提供统一数据服务API，简化系统架构，降低运维成本。

3. 用户中心

   • TiDB支持统一的数据存储和实时查询，解决客户信息分散问题。
   • 支持高并发访问，提供灵活的数据服务，提升用户体验。

4. 实时数据中台/实时数仓

   • TiDB与Flink、Spark等大数据技术栈结合，构建实时数仓解决方案。
   • 提供统一的数据服务入口，支持批量和实时数据处理，实现数据价值的实时变现。

七、用户价值

• 面向IT决策者：TiDB HTAP提供统一的数据平台，简化数据栈，降低IT成本。
• 面向开发者/架构师：支持标准SQL，降低开发复杂度，提供灵活的架构扩展。
• 面向运维：提供自服务的运维界面，简化运维流程，提升系统稳定性。

结论

TiDB HTAP作为一栈式实时数据服务平台，能够满足金融行业对实时数据处理和分析的需求，支持海量数据的在线交易和实时分析，提升业务敏捷性和数据价值的实时变现能力。通过与Flink等大数据技术栈的结合，TiDB HTAP能够构建完整的实时数仓解决方案，推动金融行业的数字化转型和创新。