【先进计算产业发展联盟】大数据云原生技术发展研究报告（2023年）_53页_3mb

报告摘要

本报告旨在分析大数据与云原生技术的融合趋势、当前传统大数据平台的痛点以及云原生技术如何解决这些问题。报告还探讨了云原生大数据平台的架构设计，并提出未来发展和战略建议，以推动大数据云原生技术的普及和应用。

数据平台演进：
- 数据库 → 数据仓库 → 数据湖 → 湖仓一体。
- 数据湖支持多种数据类型，存储成本低，但存在数据质量低、数据治理难等问题。
- 湖仓一体融合了数据湖的灵活性和数据仓库的治理能力，成为当前大数据平台的重要发展方向。
云原生技术发展：
- 云原生概念由 Matt Stine 提出，后由 CNCF 推广。
- 云原生技术包括容器、微服务、持续交付、声明式 API 等。
- Kubernetes 成为云原生技术的基石，推动了云原生技术的广泛应用。
大数据与云原生结合分析：
- 两者结合已成为数字化转型的重要方向，但仍处于快速发展阶段。
- 云原生技术可提升大数据平台的弹性、资源利用率、迭代效率和安全性。
- 部分企业已开始迁移大数据应用至 Kubernetes，主要目标包括降低成本、提升性能、增强灵活性和多云支持。

大数据作业调度优化：
- 需要更智能的调度算法，如 Gang Scheduling、Capacity Scheduling。
- 开源方案如 Volcano、YuniKorn 提供了优化支持。
旧系统兼容性：
- 传统 Hadoop 与云原生平台存在技术差异，需提供兼容接口。
- 可采用 Alluxio、JuiceFS 等工具实现平滑迁移。
中间临时数据存取问题：
- 云原生环境中 Shuffle 数据管理成为挑战。
- 需引入 Remote Shuffle Service (RSS) 等新技术。
存算分离对性能的影响：
- 需优化计算引擎的数据缓存机制。
- 引入 Alluxio、JuiceFS、Hudi 等中间层提升性能。
Hadoop 是否需要云原生改造：
- Hadoop 在私有化场景中仍有其价值。
- 需根据实际场景评估是否进行云原生改造。
云原生技术引入的复杂度：
- Kubernetes 引入复杂性，需结合监控、运维和容错设计。
- 需权衡技术优势与运维成本。

架构原则：
- 弹性伸缩与资源隔离。
- 容器化与统一资源调度。
- 多计算引擎联合管理。
- 统一元数据管理。
- 智能化运维与容灾能力。
参考架构：
- 基础资源层：包含公有云、私有云、混合云的 Kubernetes 部署。
- 数据存储层：支持 HDFS、对象存储、Hudi、Iceberg 等数据格式。
- 资源调度与管理层：基于 Kubernetes 的统一资源池管理。
- 统一元数据服务：支持多种计算引擎的数据访问和权限管理。
- 计算引擎层：包括 Spark、Flink、Trino、Doris、AI 引擎等。
- 数据开发与治理层：涵盖数据集成、治理、开发、分析等服务。
- 运维管理平台：集成日志、监控、安全管理、发布管理等功能。