【华为】2024年EMS弹性内存存储技术白皮书_24页_1mb

EMS弹性内存存储技术白皮书总结

EMS（弹性内存存储服务）是华为云推出的一种新型云基础设施服务，旨在解决AI场景下的存力瓶颈问题。随着生成式AI技术的突破，AI应用从传统分类任务扩展至生成任务，推动云计算基础设施向智能算力核心转型。在此过程中，云数据中心面临三个主要存力挑战：持久化存储性能不足、DRAM利用率低、HBM内存墙问题。

传统云架构采用"计算-存储"二层分离模式，难以满足AI场景对存储性能的需求。EMS通过构建"计算-内存-存储"三层架构，引入内存层作为高性能缓存层，将DRAM、HBM等内存介质作为主要存储介质，有效提升数据访问速度和资源利用率。其关键技术包括内存解耦池化、分级存储和数据冗余机制，通过软件架构、内存池管理及智能调度技术实现多层级存储优化。

在AI推理场景中，EMS采用三项关键技术应对HBM内存墙问题：以存代算技术（CachedAttention）通过多级内存池存储复用KV缓存，显著降低首token时延；显存扩展技术将KV缓存和模型权重动态卸载至共享内存池，提升批处理能力；计算卸载技术将自注意力模块与前馈网络模块分离处理，利用CPU侧存储能力扩展HBM容量。这些技术有效解决Transformer模型推理中的内存瓶颈问题。

针对AI训练场景，EMS提出全内存检查点方案。通过并行训练拓扑感知的检查点保存技术，实现数据并行组内检查点的本地多副本存储，降低跨节点传输开销。基于NPU通信的检查点恢复技术利用高速卡间带宽加速数据补全，选择性检查点持久化技术结合双快照机制，仅将部分版本检查点写入持久化存储，既保证故障恢复需求又避免性能损耗。

在推荐模型领域，EMS通过Embedding池化存储、均衡打散和增量检查点技术优化存储效率。其分片机制将Embedding数据均匀分布至各节点，结合哈希负载均衡提升访问性能。增量检查点基于写时复制原理，仅存储更新的Embedding数据，节省存储空间并提高处理效率。

EMS软件架构包含领域专用服务SDK、分布式内存池和管理控制面三个核心组件。SDK提供多场景加速接口，分布式内存池支持融合部署（本地DRAM池化）和分离部署（独立内存服务器）两种模式，管理控制面实现全生命周期运维管理。关键技术通过空间池化、数据分级、冗余机制和智能调度，构建弹性内存存储体系，满足AI训练推理和推荐模型等场景需求。

该技术已实现高资源弹性、高利用率和高性能的云基础设施升级，预计未来将扩展至OLTP数据库、向量数据库等通用计算场景，持续优化AI算力与存力的协同效率。