【ODCC】2023存储系统时延问题分析与测量白皮书

存储系统时延问题分析与测量总结

核心内容

存储系统的时延是影响数据中心性能的重要因素，尤其在当前网络和计算性能快速提升的背景下，存储系统的时延问题日益突出。时延不仅影响存储部件的性能表现，也对整个系统的响应时间产生显著影响。本文档详细分析了存储系统时延问题的历史和现状、产生原因、测试方法与模型、测试结果分析以及降低时延的技术路线和未来发展方向。

主要观点

• 存储系统的时延是数据中心性能表现的基础问题，随着技术复杂度的增加，时延并没有同步减少，甚至某些新技术的实现是以增加时延为代价的。
• 存储部件的时延问题往往来源于数据的封装、解封、重排、队列管理、访问控制、资源申请/释放、纠错和重传等过程，这些问题在系统层级中普遍存在。
• 时延问题的定位和分析在业界缺乏系统的方法，需要更详细的测试工具和方法。
• 用户对时延的感知通常来源于存储部件的带宽，而非单一的读写指令完成时间。

关键信息

存储系统时延问题的历史和现状

• 存储系统的时延在客户端-服务端模型中表现为命令发出到完成的时间。
• 在硬盘时代，时延通常在10毫秒到30秒之间，主要由于磁盘的寻道操作。
• 在SSD时代，时延显著降低，但仍然受限于存储介质的响应时间，一般在50微秒到5毫秒之间。
• 时延问题在数据中心中非常普遍，影响范围广，发生频率高。

存储器时延的产生原因

• 硬盘和SSD的单个读写命令响应时间通常在1秒以内，但设计中允许更长的响应时间。
• 时延的主要原因是存储介质的底层物理机制，包括数据的写入、存储和读取操作，这些操作涉及大量的模拟信号处理。
• SSD内部的误码、噪声、电压偏移等会导致读错误，进而增加时延。
• 驱动程序和应用程序对最长响应时间的处理机制不完善，可能导致数据丢失或系统崩溃。

时延测试方法与测试模型

• 常用的测试工具包括 iostat, sar, atop, fio, iozone, blktrace 和 debugfs。
• iostat 和 sar 可以监控磁盘I/O活动，获取平均等待时间（await）等信息。
• atop 可以实时监控系统资源使用情况，包括磁盘、CPU和内存。
• fio 和 iozone 可以对通过文件系统和不通过文件系统的读写操作进行测试。
• blktrace 可以跟踪单个IO请求的响应时间。
• debugfs 可以查看NVMe SSD的指令和响应时间。

时延测试结果分析

• 时延问题可能发生在存储系统的所有层级，包括主机、文件系统、存储设备等。
• 时延测试结果可以显示读写操作的延时逐渐增加，这与SSD内部数据块分配不连续和数据合并处理的开销有关。
• 使用 iostat 可以观察到时延问题，例如在CentOS 4.18及以下版本中，NVMe SSD可能会出现IO阻塞问题。
• Trim操作可以降低SSD读写性能的离散性，减少时延波动。

技术发展与优化方向

• 需要系统性的测试方法来评估和优化存储系统的时延问题。
• 驱动程序和软件系统需要考虑对最大时延的处理，以防止数据丢失和系统崩溃。
• 存储部件的固件设计需要优化数据读写一致性与安全性，以减少时延。
• 未来的技术发展应关注如何在不增加时延的情况下提升存储系统的性能。

结语

存储系统的时延问题是一个复杂且系统性的问题，需要从多个层面进行测试和优化。随着技术的发展，存储系统的时延问题将变得更加复杂，因此，建立一套完善的测试方法和分析模型是至关重要的。