【华为】2024年AIReady的数据基础设施参考架构白皮书_28页_24mb

AI-Ready 数据基础设施参考架构白皮书总结

核心内容概述

本白皮书聚焦AI-Ready数据基础设施，探讨其在AI大模型发展中的重要性与挑战，并提出相应的解决方案。AI大模型的发展正在加速行业智能化转型，而AI-Ready数据基础设施作为其核心支撑，需具备开放互联、智能敏捷、安全合规、可持续绿色等关键特征。白皮书旨在为企业构建高效、可靠、安全的数据基础设施提供参考架构与实践建议。

主要观点与关键信息

AI大模型发展与数据基础设施

• AI大模型的参数量从几万跃升至数千亿甚至更大，模型层数逐步发展到成百上千，推动AI进入新范式。
• AI大模型在多个行业（如金融、医疗、制造、交通等）得到广泛应用，包括智能客服、投资顾问、医疗诊断、交通规划等。
• 生成式AI的普及使数据成为关键生产要素，数据质量决定了AI的性能与效率。
• 数据基础设施的建设必须与AI算力、网络协同，实现“数随算动”和“算存网协同”。

AI-Ready 数据基础设施特征

1. 开放与互联：打破数据孤岛，实现跨地域、跨部门、跨领域的数据共享与协同。
2. 智能与敏捷：支持数据的自动化清洗、整合、挖掘，提供实时、精准的数据服务。
3. 安全与合规：具备数据访问控制、加密、脱敏、防勒索等能力，符合国内外法规要求。
4. 可持续与绿色：降低能耗与碳排放，提升资源利用率，实现数据基础设施的绿色可持续发展。

主要挑战与建议

1. 数据资产管理挑战：

   • 数据质量不高、数据孤岛严重。
   • 建议：构建“AI数据湖”实现全域数据共享与统一管理。

2. 集群可用度挑战：

   • 算力利用率低，设备故障影响集群效率。
   • 建议：提升Checkpoint效率，优化集群可用度，采用高性能存储系统。

3. 数据一致性挑战：

   • 数据强一致性是大模型训练的关键。
   • 建议：构建强一致高性能存储系统，提升集群的稳定性和恢复效率。

4. 数据安全挑战：

   • 勒索软件和数据投毒成为威胁。
   • 建议：构建多层次防护体系，包括勒索检测、数据备份、Air Gap隔离等。

AI-Ready 数据基础设施参考架构

三大应用场景

1. 智算中心场景：

   • 需要支持EB级数据扩展，实现高性能存储和统一命名空间。
   • 关键特征包括：统一命名空间、智能分级、数控分离架构、一站式知识生成、AI全栈管理、存储内生安全。

2. 云和互联网场景：

   • 需要支持高带宽、高可靠性、高扩展性。
   • 关键技术包括：全局负载均衡、端到端NVMe连接、海量硬盘状态检测、高度冗余保护、硬盘预失效、开放架构、高密设计。

3. 边缘训推场景：

   • 需要支持灵活的算力与存储资源调度，实现模块化RAG。
   • 关键技术包括：算力高效池化、开放式编排框架、高精度模块化RAG。

实践案例

• 科大讯飞 x 华为OceanStor存储：通过AI数据湖方案，实现万亿参数大模型训练，提升集群可用度和断点恢复速度。
• D银行 x 华为OceanStor存储：利用AI赋能智慧金融业务，提升风险处置与运营效率。
• T云 x 华为OceanDisk存储：构筑领先的智算中心云底座，提升数据存储与处理能力。
• 紫东太初 x 华为FusionCube训推一体机：加速智能客服场景创新与实践，实现高效数据处理与模型训练。

CIO行动建议

1. 构建统一数据管理平台，实现数据的全局可视、可管、可用。
2. 采用高性能、强一致的数据存储方案，提升集群可用度和训练效率。
3. 关注数据安全，构建多层次防护体系，防止勒索与数据投毒。
4. 推动数据基础设施与AI算力、网络的协同优化，实现绿色可持续发展。
5. 探索模块化RAG与开放式编排框架，提升AI应用的灵活性与可扩展性。

结语

AI-Ready数据基础设施是AI大模型时代的关键支撑，其建设不仅关乎技术性能，更涉及数据安全、合规性与可持续发展。华为基于多年经验，提出参考架构与解决方案，助力企业构建高效、安全、可靠的数据基础设施，推动AI在各行业的深入应用与持续创新。