2024数据湖峰会PPT-梁溪-终稿-23页_2mb

实时湖仓在视频号场景的应用实践

本次演讲由微信视频号高级数据工程师梁溪进行，分享了实时湖仓在视频号场景中的应用实践与经验。

背景介绍

数据规模与架构问题：视频号面临日记录量达千亿级，存储量超4PB，数据增长呈爆发式趋势。原有的Lambda架构存在两套独立链路、运维成本高、数据时延与不一致等问题。

方案调研

湖仓架构如Iceberg优于Hive/THive等传统方案，在查询大数据集时优势明显，尤其支持实时性、回溯操作，并具备ACID事务与时间旅行能力，成为首选方案。

应用实践

湖上建仓：Iceberg统一存储所有数据，优化了数据计算、入库效率和查询速度，结合StarRocks实现实时数据入库与查询加速。

入库及下游读取优化：优化文件合并策略，减少小文件产生；引入自动优化服务，降低数据处理时延，并减少资源浪费。

开发链路优化：采用流转批模式，降低开发复杂性，减少对Redis、Kafka等外部存储的依赖，提升开发效率。

基础BI表优化

将全量计算改为增量计算，利用物化视图和本地化操作减少网络传输与计算时间，优化调度时延与资源利用率。

项目总结

经济与性能双重收益：统一使用Iceberg后，节省了大量存储及计算资源，预计每年节省近1700万元，并大幅缩短数据处理与产出时间。

产业升级：视频号数十个核心数据流已迁移至Iceberg，整体湖仓系统日趋稳定高效。

未来展望

未来将进一步推进Iceberg在视频号平台的规模化落地，特别是优化底层适配和集成生态，为进一步构建灵活、高效、稳定的实时数据体系打下坚实基础。