【工商银行】2024大数据技术及应用白皮书

工商银行大数据技术及应用总结

核心内容

工商银行在大数据领域持续投入，构建了企业级大数据平台和数据中台，推动数据驱动的业务创新和智能化转型。平台涵盖数据存储与计算、数据管理、数据应用、数据安全等多个核心领域，支持流批一体、实时数仓、智能BI、数据研发等多样化能力，满足不同业务场景对数据的实时、精准、高效需求。

主要观点

• 大数据技术演进：大数据技术经历了萌芽期、发展期、爆发期、转型期和变现期，逐步从离线处理向实时、智能化、云原生方向演进。
• 数据中台建设：数据中台作为“承技术启业务”的桥梁，推动数据从资产化到服务化，实现数据价值的高效转化与业务驱动。
• 数据应用多样化：大数据技术被广泛应用于风险管理、客户洞察、营销优化、实时分析等多个业务场景，提升了银行的运营效率与服务质量。
• 技术架构升级：大数据平台采用云原生、存算分离、融合一体等架构，以应对大规模数据处理、高并发访问、复杂业务需求等挑战。
• 数据安全与治理：数据安全技术向内生化、智能化发展，通过全密态数据库、零信任、AI赋能等方式提升数据防护能力与运维效率。

关键信息

一、大数据技术发展历程

1. 萌芽期（2002-2012）：传统数仓技术兴起，用于全局经营分析。
2. 发展期（2012-2016）：离线大数据架构形成，数据规模快速增长。
3. 爆发期（2016-2021）：Lambda/Kappa架构广泛应用，推动实时数据分析。
4. 转型期（2021-2025）：云原生实时架构成为主流，数据处理更灵活、更智能。
5. 变现期（2025+）：数据价值实现转化，数据作为核心生产要素，推动企业竞争力提升。

二、大数据产业四大核心领域

三、大数据平台产品视图

• 用数领域：

  • 大数据工作站：提供研发与测试服务。
  • 即时BI平台：支持自助分析、数据挖掘、订阅推送等功能。
  • 垂直领域：打造技术平台，实现技术赋能。
  • 批量计算：支持海量结构化或半结构化数据的并行计算。
  • 流计算：支持事件驱动的实时分析处理。
  • 对象存储：支持非结构化数据的高并发存取。
  • 联机分析：支持高并发的键值查询与复杂查询。
  • 数据分析：包括自助式BI和智能BI（ChatBI）。

• 通用领域：

  • 数据交换：支持文件、日志等数据交换。
  • 数据安全：提供全生命周期安全保护。

四、大数据平台总体架构

1. 大数据服务：包括离线数仓、实时数仓、流式计算、联机分析等。
2. 大数据底座：
   • 引擎层：支持Hive、Spark、Flink、Hetu等计算引擎。
   • 资源层：支持ARM与x86设备混部，实现资源池化和弹性调度。
3. 大数据运营工作站：实现资源申请线上化，提供可视化运维界面，支撑研发运维一体化。

五、企业级数据中台建设

• 数据中台以API数据服务为核心，形成“变速齿轮”，连接后台管理与前台业务。
• 构建数据分层体系（贴源层、聚合层、萃取层），实现数据资产化、服务化。
• 推动数据资产运营管控体系，提升数据使用效率与质量。

六、大数据应用案例

1. 流批一体的个人储蓄存款准实时计算方案：通过统一数据服务封装，实现分钟级数据更新，提升存款指标监测能力。
2. 基于实时数仓的报送解决方案：通过HUDI+联机库实现数据的快速关联与分析，将报送时效从40分钟缩短至1-5分钟。
3. 内外部数据融合的风控业务模式：构建风险预警模型，支持高风险客户识别与风险防控，实现100%提前预警率。
4. 数据驱动的码上赢新型营销模式：基于客户行为数据，帮助客户经理精准营销，提升客户转化率。
5. 地理空间信息助手：融合内外部数据，提供可视化的客户洞察与商机挖掘，支持营销与运营决策。

未来展望

1. 存算分离：应对业务增长与资源调度挑战，提升平台稳定性与灵活性。
2. 实时数仓：推动离线数仓向实时数仓演进，实现分钟级数据处理，提升数据洞察水平。
3. 云数智融合：云计算、大数据与AI技术深度融合，形成常态化的云原生架构，提升算力资源利用率。

通过持续优化与创新，工商银行正在构建一个更加智能、高效、安全的大数据体系，以支撑业务的全面数字化转型。