20250115-中国电信集团-浙江电信Apache_Doris实战之路_19页_4mb

浙江电信Apache Doris实战总结

浙江电信大数据中心平台负责人喻志强分享了公司从传统数据仓库向湖仓一体架构演进的实战经验。以下是主要总结：

一、大数据建设历程

1. 初期建设：基于Teradata构建B域数据仓库，存储容量达400TB。
2. 数据中台建设：构建数据中台能力，迁移作业、报表及数据治理，优化开发模式，节点数超过20台。
3. 湖仓一体演进：
   • 推进Doris平台，节点达80台；
   • 构建实时分析和网络大数据集群，节点超700台，容量20PB；
   • 新建湖仓架构，逐步实现自研PaaS产品主导，节点数达640+台。

二、Apache Doris实践

1. 实时数仓上线与优化：

   • 初次使用Doris 201版本，面临BI适配、Flink任务兼容等问题；
   • 迭代至203版本后问题改善，但204版本仍有jvm溢出、Catalog访问异常等；
   • 215版本显著提升性能30%-50%，稳定性超40%，系统趋于稳定。

2. 查询集市库实施：

   • 从212版本至215版本，解决时区差异、负载均衡、元数据同步异常等问题；
   • 采用Haproxy替代ProxySQL，优化链接负载，提升用户体验。

3. 性能优化收益：

   • 204至212版本，平均任务效率提升30%；
   • 在212至215期间，稳定性增强且性能小幅下降。

4. 存在的问题：

   • 异构化运营管理与跨源访问复杂度较高；
   • 内部及外部Catalog兼容性待完善。

三、湖仓一体实践

湖仓一体架构融合了Hudi、Iceberg等组件，与Doris相结合提升统一数据处理效率。电信通过自研平台实现全链路作业，构建了湖仓一体架构，成功应用于多个业务场景。

四、后续规划探讨

未来将细化资源隔离机制，推进存算分离探索，优化异构数据治理，并完成剩余系统改造。同步考虑与社区协作，推动Doris生态进一步优化。

总体评价

浙江电信通过Apache Doris成功实现了实时分析平台的高效建设，为电信大数据平台架构提供了宝贵经验，未来将持续夯实技术基础，提升数据治理能力。

谢谢！