基于数据处理器（DPU）的新一代存算分离存储架构_74页_5mb

基于数据处理器（DPU）的新一代存算分离存储架构总结

核心内容

本文探讨了基于数据处理器（DPU）的新型存算分离存储架构，分析了其在AI、云计算等高性能计算场景中的应用潜力。通过引入DPU，该架构能够有效解决传统存储架构中的资源配比困境、性能瓶颈和运维复杂度等问题，实现存储与计算资源的独立扩展与管理。

主要观点

• 传统架构的局限性：传统存储架构将计算与存储资源绑定，导致资源利用率低下，且难以适应AI等高性能计算场景的高IO需求。
• 存算分离架构的优势：通过将存储与计算资源解耦，存算分离架构能够提升资源利用率、灵活性和性能，同时降低总体拥有成本（TCO）。
• DPU的引入：DPU作为新型硬件加速器，具备高性能网络接口、可编程ARM CPU和专用加速引擎，为存算分离架构提供了强大的技术支持。
• DPU与NVMe-oF的结合：NVMe-oF协议结合DPU的高速网络和内存，使远程存储访问性能接近本地存储，实现高效的数据传输和处理。
• 存储优化方案：包括CSAL QLC加速方案、SR-IOV加速方案和分布式Raid加速方案，分别针对QLC存储性能瓶颈、虚拟化I/O资源分配和数据可靠性问题，提出优化策略。

关键信息

存算分离架构的三大优势

1. 资源利用率提升：通过独立扩展计算和存储资源，避免资源浪费，提升整体效率。
2. 网络带宽优化：消除东西向流量，提升网络资源利用率，实现南北向业务流量的高效传输。
3. 数据一致性与故障恢复：通过DPU的独立供电和计算资源池化，实现更高的数据一致性保障和更高效的故障恢复机制。

DPU的关键特性

• 高性能网络连接：支持400G/200G以太网或NDR400Gb/s InfiniBand网络。
• 多核ARM处理器：支持运行复杂的软件栈，如存储服务和网络协议。
• 硬件加速引擎：优化加密、压缩等操作，减少CPU负载。
• 大容量高带宽内存：支持快速数据处理和缓存。
• 可编程性：通过NVIDIA DOCA框架，支持定制化存储服务。

存储优化方案详解

1. CSAL QLC 加速方案

• 背景：QLC存储介质存在随机写入性能差、写入放大严重等问题。
• 解决方案：CSAL作为开源的主机端闪存转换层，结合DPU的计算资源和内存，将随机写入转化为顺序写入，提升QLC SSD的性能与寿命。
• 测试结果：在4K随机写入场景下，CSAL方案性能提升约20倍；在齐普夫分布测试中，性能提升约15倍。

2. SRIOV 加速方案

• 背景：传统存储架构在数据保护和副本同步方面存在性能瓶颈和高成本问题。
• 解决方案：利用SR-IOV技术将存储设备虚拟化，结合DPU的计算能力实现分布式RAID组构建，减少网络流量和提升存储性能。
• 测试结果：在6块设备RAID6配置下，随机读取性能达到422万IOPS；在12块设备配置下，随机读取性能达到398万IOPS；顺序读取性能保持稳定，写入性能显著提升。

3. 分布式 Raid 加速方案

• 背景：传统RAID技术难以适应分布式存储需求，存在扩展性和性能瓶颈。
• 解决方案：XiRaid方案将RAID计算逻辑卸载到DPU，实现块层面数据保护，提升存储系统性能和可靠性。
• 测试结果：XiRaid在随机读取场景下性能显著优于传统EC方案；在写入场景下，性能提升约34%；在重构效率方面，优于传统EC方案。

技术方案价值

• 性能提升：通过DPU的硬件加速和存算分离设计，显著提升存储系统的读写性能和数据处理能力。
• 成本优化：降低硬件采购成本和运维成本，提升投资回报率（ROI）。
• 扩展性增强：支持灵活的资源扩展，满足不同应用场景下的存储需求。
• 可靠性提升：通过DPU的独立供电和资源池化，实现更高的系统可靠性。

产业影响与应用前景

• 数据中心升级：DPU存算分离架构为数据中心提供了更灵活、高效的存储解决方案，支持AI、云计算等高性能计算场景。
• 存储技术革新：通过引入DPU，存储技术正朝着更高效、更智能的方向发展。
• 应用场景广泛：适用于HDFS、BeeGFS等分布式存储系统，满足大数据、AI训练和推理、高性能计算等多样化需求。

发展趋势与技术展望

• DPU的普及：随着DPU技术的成熟，其在数据中心中的应用将更加广泛。
• 存储架构的演进：从传统存储向存算分离架构演进，是未来数据中心存储技术的重要趋势。
• 智能化与高效化：通过DPU的可编程性和硬件加速能力，存储系统将更加智能化和高效化，为未来的大规模数据处理提供坚实基础。

结语

基于DPU的存算分离存储架构代表了存储技术的重要发展方向，通过提升资源利用率、优化网络带宽和增强数据一致性，为现代数据中心提供了高性能、低成本、易维护的存储解决方案。随着技术的不断演进，该架构将在AI、云计算等领域发挥更大作用。

参考文档

• ODCC相关技术文档
• NVIDIA BlueField-3 DPU技术白皮书
• 三星 PCIe Gen5 NVMe SSD PM1743技术文档
• CSAL软件技术文档
• XiRaid软件定义RAID方案白皮书