2024-09-26-华为-2024年EMS弹性内存存储技术白皮书_24页_1mb

弹性内存存储服务（Elastic Memory Service, EMS）是华为云推出的一种创新云基础设施服务，旨在解决AI等场景中的存储瓶颈问题。随着AI技术快速发展，特别是在大模型应用中，持久化存储性能不足、DRAM利用率低以及HBM内存墙成为关键痛点。这些痛点源于AI集群计算需求激增，但存储能力跟不上，导致效率低下和成本上升。

EMS通过将传统的“计算-存储”两层架构升级为“计算-内存-存储”三层架构，引入内存层来缓解这些问题。其核心是内存解耦池化，将AI服务器的DRAM资源池化并动态分配，提升利用率。针对AI场景，EMS提供了多种加速技术，如在推理中减少重复计算的“以存代算”、扩展显存的“显存扩展”和计算卸载，以及在训练中加速检查点处理的并行拓扑感知和NPU通信优化技术。这使得AITraining和推理效率显著提高。

此外，EMS还应用于推荐模型等其他领域，通过Embedding池化存储等方式，优化数据访问并降低延迟。未来，EMS计划扩展至更多通用计算场景，如数据库和大数据分析，进一步提升云基础设施的弹性和性能。

总体而言，EMS作为华为云的原创技术，成功平衡了资源利用率和性能，为AI时代提供了高效的存力解决方案。