可实现RSSD云硬盘120万IOPS的SPDK IO路径优化实践

一 简介

用户对超高并发、超大规模计算等需求推动了存储硬件技术的不断发展，存储集群的性能越来越好，延时也越来越低，对整体IO路径的性能要求也越来越高。在云硬盘场景中，IO请求从生成到后端的存储集群再到返回之间的IO路径比较复杂，虚拟化IO路径尤其可能成为性能瓶颈，因为虚机内所有的IO都需要通过它下发给后端的存储系统。我们使用了SPDK来优化虚拟化IO路径，提出了开源未解决的SDPK热升级和在线迁移方案，并且在高性能云盘场景中成功应用，取得了不错的效果，RSSD云硬盘最高可达120万IOPS。本文主要分享我们在这方面的一些经验。

二 SPDK vhost的基本原理

SPDK（Storage Performance Development Kit )提供了一组用于编写高性能、可伸缩、用户态存储应用程序的工具和库，基本组成分为用户态、轮询、异步、无锁 NVMe 驱动，提供了从用户空间应用程序直接访问SSD的零拷贝、高度并行的访问。

在虚拟化IO路径中，virtio是比较常用的一种半虚拟化解决方案，而virtio底层是通过vring来通信，下面先介绍下virtio vring的基本原理，每个virtio vring 主要包含了以下几个部分：

• desc table数组，该数组的大小等于设备的队列深度，一般为128。数组中每一个元素表示一个IO请求，元素中会包含指针指向保存IO数据的内存地址、IO的长度等基本信息。一般一个IO请求对应一个desc数组元素，当然也有IO涉及到多个内存页的，那么就需要多个desc连成链表来使用，未使用的desc元素会通过自身的next指针连接到free_head中，形成一个链表，以供后续使用。
• available数组，该数组是一个循环数组，每一项表示一个desc数组的索引，当处理IO请求时，从该数组里拿到一个索引就可以到desc数组里面找到对应的IO请求了。
• used 数组，该数组与ava