【华为】2024年AI-Ready的数据基础设施参考架构白皮书_28页_8mb

AI-Ready 的数据基础设施参考架构白皮书总结

核心内容

本白皮书探讨了AI大模型时代对数据基础设施的全新需求，提出构建AI-Ready数据基础设施是推动AI技术发展和实现行业智能化转型的关键。AI-Ready数据基础设施需具备开放互联、智能敏捷、安全合规、可持续绿色等特征，以满足大模型训练、推理和应用的高性能、强一致、高可用和高安全性需求。

主要观点

1. 数据基础设施的重要性

   • 数据是AI发展的核心，其质量、管理、安全、一致性直接影响AI训练效率和结果。
   • 在大模型训练中，数据基础设施的性能与一致性是影响集群可用度的关键因素。
   • 数据投毒、勒索攻击等安全威胁日益严重，需加强数据保护能力。

2. AI-Ready数据基础设施的特征

   • 开放与互联：打破数据孤岛，实现跨地域、跨系统的数据共享和流动。
   • 智能与敏捷：提供自动化的数据处理、存储和网络协同能力，实现数据的高效访问与处理。
   • 安全与合规：通过数据加密、备份、防勒索设计等技术手段，保障数据安全与合规。
   • 可持续与绿色：通过高效能存储与算力协同，降低能耗，提高资源利用率。

3. AI-Ready数据基础设施的参考架构

   • 该架构涵盖三大应用场景：智算中心、云和互联网、边缘训推。
   • 各场景对数据基础设施的要求不同，需定制化解决方案，以满足训练、推理、部署等全流程需求。

关键信息

1. AI-Ready数据基础设施的三大应用场景

• 智算中心场景：面向大规模AI模型训练，需支持EB级数据存储、强一致性访问、高性能网络和高可靠性。
• 云和互联网场景：支持开源生态、高性能存储硬件、高带宽和高可用性，满足云环境下的训练与推理需求。
• 边缘训推场景：支持算力与存储的高效池化、模块化RAG、开放式编排框架，实现边缘端的快速部署与灵活扩展。

2. AI-Ready数据基础设施的关键特征

• 统一命名空间：支持多协议访问，实现全局数据管理。
• EB级扩展与智能分级：支持海量数据存储，通过智能分级技术优化存储成本与性能。
• 数控分离架构：将计算与存储解耦，提升数据访问效率和系统性能。
• 一站式知识生成：支持数据清洗、知识向量化、问答对生成等，提升数据质量。
• AI全栈管理：覆盖环境建设、数据准备、模型训练、应用部署等全生命周期管理。
• 存储内生安全：通过四层防勒索架构、实时检测、数据备份与离线保护等技术，保障数据安全。

3. AI-Ready数据基础设施的挑战与建议

• 数据资产管理挑战：企业需构建全局数据湖，实现数据的统一管理与调度。
• 集群可用度挑战：建议提升Checkpoint效率、优化算力利用率，避免算力浪费。
• 数据一致性挑战：需构建强一致存储系统，支持大模型训练和推理的高效访问。
• 数据安全挑战：需加强防勒索设计、数据投毒防护和合规性管理。

4. 实践案例

• 科大讯飞x华为OceanStor存储：通过构建AI数据湖，实现万亿参数模型的高效训练与推理，提升集群可用度。
• D银行x华为OceanStor存储：通过AI赋能，提升金融业务智能化水平，包括智能客服、风险控制等。
• T云x华为OceanDisk存储：构建高性能、高可用的智算中心云底座，支撑大模型训练。
• 紫东太初x华为FusionCube训推一体机：加速智能客服场景的创新与落地。

结论

AI-Ready的数据基础设施是支撑AI大模型训练、推理与应用的核心要素。华为通过多年行业实践，提出了具备开放、智能、安全、可持续等特征的AI-Ready数据基础设施参考架构，为行业智能化转型提供了有力支撑。通过构建统一命名空间、智能分级存储、数控分离架构、全栈管理等关键技术，可有效应对AI训练中的数据挑战，提升集群可用度、数据一致性与安全性，推动AI在各行业的深入应用。