2024基于+DPU+的高性能存储网络技术报告_24页_1mb

报告摘要

基于DPU的高性能存储网络技术报告总结

核心内容

本报告探讨了基于DPU（Data Processing Unit）的高性能存储网络技术，重点分析了存算分离数据中心架构、基于DPU的高性能存储架构及关键技术、应用场景以及未来挑战与发展方向。报告指出，随着数据中心对存储性能和效率的不断追求，传统的存储协议如iSCSI在面对高速存储设备时存在性能瓶颈，而NVMe-oF（NVMe over Fabrics）协议因其低延迟、高并发特性，成为解决该问题的关键技术之一。DPU作为以数据为中心的专用处理器，通过卸载网络存储协议，显著提升了存储访问性能，降低了主机CPU的负载。

主要观点

存算分离架构：通过将计算与存储资源分离，提高系统的可扩展性、灵活性和资源利用率，同时降低存储成本和维护难度。
NVMe-oF协议：作为高性能、低延迟的网络存储协议，NVMe-oF支持TCP、RDMA和FC网络，能够有效提升存储访问效率。
DPU技术：DPU通过硬件加速实现网络存储协议的卸载，减少主机CPU的负担，提升整体系统性能。
RDMA技术：RDMA技术通过内核旁路、零拷贝和CPU卸载，实现高性能数据传输，是NVMe-oF的重要支撑。
DPU应用场景：DPU在裸金属和虚拟化场景中均有重要应用，特别是在虚拟化环境中，通过SR-IOV和远程资源虚拟化技术，显著减少性能损失。

关键信息

存算分离数据中心架构

架构特点：计算集群和存储集群分别承担计算和存储任务，彼此独立运作。
网络协议：常用协议包括TCP和RDMA，其中NVMe-oF因其高性能和低延迟成为主流选择。
存储问题：存算分离数据中心面临“存储税”问题，约10-20%的主机CPU资源被用于存储相关功能。

基于DPU的高性能存储架构及关键技术

DPU功能：支持网络、存储、安全等基础设施层服务，通过硬件加速实现资源虚拟化。
RDMA技术：
- 技术特征：内核旁路、零拷贝、CPU卸载。
- 传输模式：RC（可靠连接）、UC（不可靠连接）、RD（可靠数据报）、UD（不可靠数据报）。
NVMe over Fabric：
- 支持协议：NVMe over TCP、NVMe over RDMA（RoCE、IB、iWARP）、NVMe over FC。
- NVMe over RDMA：基于RoCE成为主流，支持零拷贝、低延迟、高吞吐量的数据传输。
DPU核心技术：
- 包括I/O设备虚拟化、VPC overlay网络加速、EBS存储接入加速、本地存储虚拟化加速、弹性RDMA、安全加速、弹性裸金属支持及池化能力。

基于DPU的高性能存储架构应用场景

裸金属场景：
- 性能需求：需要高延迟和高性能的存储访问。
- 优化方式：通过DPU卸载网络存储协议，将远端存储模拟为本地NVMe设备，减少数据拷贝和上下文切换。
虚拟化场景：
- 性能瓶颈：虚拟机访问网络存储时，存在多层内存拷贝和虚拟化软件开销。
- 优化方式：利用DPU实现远程资源虚拟化，支持SR-IOV硬件辅助虚拟化，提升虚拟存储性能。

挑战与展望

挑战：
- 存储协议的复杂性和性能需求对DPU提出了更高的要求。
- 需要进一步提升DPU在分布式存储中的应用能力，包括条带化、EC计算、数据同步等。
展望：
- DPU将成为智算中心的核心配置，通过异构计算技术提升存储性能。
- 存储网关、协议转换、数据保护等功能可下沉至DPU，推动存储技术的进一步发展。

结论

基于DPU的高性能存储网络技术是未来数据中心发展的重要方向，能够有效解决传统存储架构中的性能瓶颈和资源利用率问题。通过NVMe-oF协议与RDMA技术的结合，DPU实现了存储协议的高效卸载，为裸金属和虚拟化场景提供了高性能的存储访问方案。随着技术的不断成熟，DPU将在存储网络中发挥更加关键的作用，推动数据中心向更高性能、更低延迟的方向发展。

展开完整摘要