阿里云（王峰）：湖仓一体全面开启实时化时代-62页_6mb

阿里云开源大数据平台负责人王峰等专家在“湖仓一体 全面开启实时化时代”主题报告中，详细介绍了以 Apache Paimon 为核心的大数据湖存储技术发展与实践经验。

Paimon 是一款面向实时化的统一数据湖格式，依托湖仓一体化架构实现流批数据融合。其发展始于 2022 年 Apache Flink 子项目，经历孵化孵化至顶级项目，现支持流式读写、低拷贝更新、近实时查询等特性，已在阿里巴巴集团内部广泛应用。

主要技术突破包括：LSM 树与变更日志机制支持秒级流式更新，实现流批共湖存储；添加删除向量（DeletionVector）与 Z-Order 索引技术优化存储结构与查询效率；兼容 Delta Lake 等存储模式，并支持与 Flink、Spark、StarRocks 等计算引擎互通。商业化方面，Paimon 已明确成为阿里巴巴集团统一数据湖格式，与阿里云平台紧密结合为数据湖生态提供一站式支持。

实际业务中，Paimon 应用于电商、广告、推荐等场景，例如：单链路入湖构建分钟级流式数据处理链路，减少存储冗余，支持部分列或聚合式更新；离线作业效率提升，支撑业务分钟级响应需求；显著节约存储及运维成本，保障数据一致性。2024 年底，其将在流式消费体验和元数据管理等方面继续展开增强。

总体而言，Apache Paimon 正在快速推动实时化数据湖生态的发展，成为湖仓一体化不可或缺的关键技术，有力支撑企业级大数据场景演进。