2025-01-13-中国电信-浙江电信Apache_Doris实战之路_19页_4mb

浙江电信 Apache Doris 实战总结

1. 大数据建设历程

浙江电信的大数据平台从2004年开始建设，逐步从基于Teradata的B域数据仓库演进，经历数据中台构建、湖仓一体架构深化等阶段。截至2024年，平台规模从20台服务器扩展到700+台，存储容量从400TB增至20PB（离线平台）和80节点（Doris相关）。现代化建设包括数据治理、开发运营模式优化及与BI系统的整合。

2. Apache Doris 实践

2023年起，浙江电信在生产环境中首次尝试Doris，版本从2.0.x迭代到2.1.x。实践过程中持续解决与Iceberg兼容性问题、JVM溢出、查询性能等故障，通过小版本迭代和问题修复提升系统稳定性。性能方面，2.0.x到2.1.x整体提升30-50%，涉及Query优化和长稳测试积累。同时探索了Doris与Iceberg的融合应用，完成了从传统数据库（如Impala、Vertica）的迁移。

3. 湖仓一体实践

该实践基于Doris、Iceberg、Amoro和Flink/Spark组件，构建融合存储与计算的湖仓架构。优化内容包括流批一体应用、跨源数据接入、资源调度改进，解决了数据湖组件的compaction问题和实时交互需求。实际应用涉及实时数仓同步、报表深化和容器化弹性支持。

4. 后续规划探讨

未来计划聚焦Doris深化优化，包括资源隔离、存算分离探索、异构数据支持和稳定性加强。同时关注跨源访问优化、与天翼云协同及社区协作，旨在降低成本并提升整体架构效率。初始改造取得成效，但仍需解决部分遗留问题，如跨源Catalog访问。