[NVME] SQ &CQ

最新推荐文章于 2024-10-13 13:42:57 发布
最新推荐文章于 2024-10-13 13:42:57 发布
阅读量540 收藏 5
点赞数 2
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/jinyuya/article/details/142780736
版权

一、基于内存的传输模型

SQ(提交队列)是一个具有固定插槽大小的循环缓冲区，每个提交队列条目都是一个命令,命令的大小为64字节,host software使用该缓冲区提交供控制器执行的命令

当有1到n个新命令要执行时，host software更新相应的SQ Tail doorbell register

当有一个new doorbell register 写入时，以前的SQ Tail value在控制器中被覆盖

controller按顺序从提交队列中获取SQ条目，并可以按任何顺序执行这些命令

CQ(完成队列)是一个具有固定槽大小的循环缓冲区，用于发布已完成命令的状态

一个完整的命令是由关联的SQ标识符和由host software分配的命令标识符的组合唯一标识的

在基于内存的传输模型中，多个提交队列可能与单个完成队列相关联

当单个工作线程通过一个完成队列处理所有命令完成时，可以使用单个完成队列配置，即使这些命令来自多个提交队列

在处理完指示最后一个空闲CQ槽的完成队列条目后，host software更新CQ Head pointer

在完成队列条目中定义了一个Phase Tag(P)位，用来指示一个条目是否在没有主机咨询寄存器的情况下被新发布,Phase Tag位使主机能够确定条目是否是新的

jinyuya
关注
[协议] 命令队列
串起点滴
09-13 3474
NVMe(over PCIE) 的速度远超 AHCI(over SATA)， 其中一个重要的原因是 NVME 的队列个数远超 AHCI。作为NVME 重点中的重点，本文将浓墨重彩介绍命令队列SQ 和 CQ，这对我们理解host 和 SSD 的工作模式有很大帮助。
nvme cq work flow注释
yiyeguzhou100的专栏
03-17 651
nvme_poll -> nvme_process_cq -> 1, nvme_update_cq_head, write_cq_head_doorbell 2, nvme_complete_cqes -> nvme_complete_cqe->nvme_end_request->blk_mq_complete_request
NVME-SQ、CQ & DoorBell
一步一个脚印
03-20 6666
NVME-SQ、CQ & DoorBell 参考资料：《深入浅出SSD》 ， NVME协议1.3 SQ和CQ 全称Submission/Completion Queue 1.主机往SQ中写入命令，SSD往CQ中写入命令执行的结果 2.SQ和CQ有两种， 　　一种是Admin，用来放Admin命令，用以主机管理控制SSD 　　一种是IO，用来放IO命令，用以主机与SSD之间传输数据...
可乐学习NVMe之二：三只熊SQ/CQ/DB
Lucky
04-06 5334
上回书说道，NVMe有三宝：SQ,CQ和DB。接下来我们就详细分析这三个指令。 Host往SQ中写入命令， SSD往CQ中写入命令完成结果。SQ与CQ的关系，可以是一对一的关系，也可以是多对一的关系，但不管怎样，他们是成对的：有因就有果，有SQ就必然有CQ。 有两种SQ和CQ，一种是Admin，另外一种是I/O，前者放Admin命令，用以Host管理控制SSD，后者放置I/O命令，用以Host与SSD之间传输数据。Admin SQ/CQ 和I/O SQ/CQ各司其职，你不能把Admin命令放到I/O SQ
NVMe Queue机制
辗转反测的博客
10-08 481
NVMe中，是通过command机制来完成host与controller之间的通信。（可参考前文Queue（队列）的作用，就是用来存放和管理command。
NVMe协议详解(三)
qq_39021670的博客
03-26 6569
NVMe协议详解（三）4.内存数据结构4.1 SQ与CQ的详细定义4.1.1 空队列4.1.2 满队列4.1.3 队列性质4.2 仲裁机制4.2.1 RR带有优先权的RR4.2.3 其他仲裁方式4.3 数据寻址方式（PRP和SGL）4.3.1 PRP4.3.2 SGL4.3.3 比较PRP与SGL 4.内存数据结构 4.1 SQ与CQ的详细定义 这里的SQ与CQ都是循环队列。 4.1.1 空队列 4.1.2 满队列 判断队列满可以有多种方法，协议中规定的是头指针比尾指针大一，所以队列满时，空余一个元素。
NVME协议第四章-Data Structures
goodBoy
05-10 1451
本章描述NVME所需的数据结构（讨论均基于PCIE over NVME）。
RDMA&& nvme of fabrics
06-01
System A也创建一个WQE，并将其添加到发送队列（SQ）中。 Step3：HCA（Host Channel Adapter）从发送队列中消耗WQE，并开始将数据从发送缓冲区传输到接收缓冲区。接收方的HCA从接收队列中消耗WQE，以确定数据的存储...
NVME 初始化驱动分析&NVMe SQ/CQ/DB
wing_7的博客
05-07 373
SSD在取指的时候，是偷偷进行的，Host对此毫不知情。对一个CQ来说，刚好相反，生产者是SSD，因为它往CQ的Tail写入命令完成信息，消费者则是Host，它从CQ的Head取出命令完成信息。之后，nvmeq->irqname表示的是注册中断时的名字，从nvme%dq%d可以看到，就是最后生成的nvme0q0和nvme0q1，一个是给admin queue的，一个是给io queue的。SQ与CQ的关系，可以是一对一的关系，也可以是多对一的关系，但不管怎样，他们是成对的：有因就有果，有SQ就必然有CQ。
NVMe 协议
chenzhjlf的专栏
05-07 4508
NVME设备。
SSD：PCIe&NVMe;基础---思维导图详解
02-22
思维导图详细解析SSD相关基础知识。 PCIe协议栈：Transaction Layer：事务层，Data Link Layer：数据链路层，Physical Layer：物理层解析； PCIe 数据包TLP（Transaction Layer Packet）详细解析； NVMe协议解析：SQ，CQ，DB； 主机读写SSD流程详解。
nvme-cli-master.zip
08-28
nvme主要同于对各个厂家的NVME盘进行信息的抓取，它支持intel 华为 希捷等厂商smartlog的抓取以及media error/crc error的侦测
NVMe1.3最新协议
11-12
NVMe的官方文档，需要的可以下载。NVMe协议将PCIe协议整合成简单易懂的方式是现在ssd主流的协议。
NVMe协议详解（二）
zz2633105的博客
06-30 4036
host在给SSD加载驱动（linux 内核驱动）后，将在host ddr上建立admin queue和I/O queue，如下图所示。注意看上图，每个CPU core上一般只会创建一个I/O，这是SSD的硬件I/O，而我们在linux系统用户态使用FIO创建的queue是block层的软件queue，也就是说，block层上可能多个软件queue对应一个SSD的I/O。下面所说的I/O queue都是指SSD的硬件I/O，host提交I/O请求过程如下图所示。
NVMe系列专题之二：队列(Queue)管理
热门推荐
redseazhaojianertao的博客
12-01 1万+
转载链接：https://mp.weixin.qq.com/s?__biz=MzIwNTUxNDgwNg==&mid=2247484355&idx=1&sn=04f0617bf774fa3c6020d90288b679e8&chksm=972ef29aa0597b8ca79b040f3222eef85835a5cd693167aa6f7ffd34a78ae15f69...
nvme Admin & I/O 命令
weiai3140的博客
10-18 5461
NVMe有两种命令：admin命令和I/O命令。admin命令用于主机管理控制SSD，I/O命令用于数据传输。 NVMe Driver支持以下admin处理和命令：Delete I/O Submission Queue，Create I/O Submission Queue，GetLog Page，Delete I/O Completion Queue，Create I/O Co...
Linux NVMe Driver学习笔记之8：IO SQ/CQ的创建过程
存储随笔
10-30 3450
这篇文章紧接上回分解，在nvme_probe函数的最后一步调用nvme_reset_work进行reset操作，nvme_reset_work的主要工作可以概括如下几个步骤：
[NVME] Phase Tag Example
jinyuya的博客
10-13 457
phase tag example
NVME简单理解（一）
yundanfengqing_nuc的专栏
10-29 940
NVMe是什么：NVMe是一种Host与SSD之间通讯的协议，它在协议栈中隶属高层。 NVMe制定了Host与SSD之间通讯的命令，以及命令如何执行的。 NVMe有两种命令，一种叫Admin Command，用以Host管理和控制SSD；另外一种就是I/O Command，用以Host和SSD之间数据的传输。下面是NVMe1.2支持的命令列表： NVMe支持的Admin Command： NVMe支持的I/O Command： 跟ATA spec中定义的命令相比，NVMe的命令..
nvme_queue sq_dma_addr
最新发布
04-04
<think>好的，用户想了解关于NVMe的提交队列DMA地址（SQ_DMA_ADDR）的配置或相关问题解决。首先，我需要回忆NVMe协议中关于提交队列的基本结构。NVMe控制器通过提交队列（SQ）和完成队列（CQ）来管理命令。SQ_DMA_ADDR应该是指提交队列在主机内存中的物理地址，这个地址需要被配置到控制器的相应寄存器中，以便控制器能够访问这些队列。 接下来，配置步骤可能包括分配内存对齐的DMA缓冲区，获取其物理地址，然后将该地址写入控制器的寄存器。需要注意内存对齐的要求，通常NVMe要求队列内存按页对齐，比如4KB对齐。如果配置不正确，可能导致控制器无法正确读取队列，引发错误或超时。 关于常见问题，比如驱动初始化失败、DMA映射错误或控制器无法识别队列，可能的解决方法包括检查内存对齐、确认物理地址是否正确写入寄存器，以及使用调试工具检查DMA传输。另外，用户提供的引用信息提到virtio-scsi-device.num_queues，虽然与NVMe直接关联不大，但多队列配置的思路可能有参考价值，比如确保队列数量与配置一致。 需要验证用户的问题是否涉及特定环境，比如虚拟化场景中的NVMe设备，这时可能需要考虑虚拟化层对DMA地址的处理。此外，还要考虑是否使用了正确的驱动，比如Linux内核中的nvme驱动，以及相关的日志信息，如dmesg输出，是否有DMA错误或映射失败的提示。 最后，生成相关问题时要围绕NVMe的队列配置、DMA问题排查、性能优化以及与其他技术的比较展开，帮助用户进一步深入理解。</think>### NVMe提交队列DMA地址（SQ_DMA_ADDR）配置与问题排查 #### 1. 基本概念 在NVMe协议中，提交队列（Submission Queue, SQ）的DMA地址（SQ_DMA_ADDR）是主机内存中分配给SQ的物理地址，控制器通过该地址访问命令队列。每个SQ对应一个物理内存区域，需满足以下条件： - 内存地址需按4KB对齐（常见要求） - 队列条目大小固定为64字节 - 队列深度需为2的幂次方 #### 2. 配置步骤 ```c // 示例：Linux内核驱动中配置SQ DMA地址 struct nvme_queue *nvmeq = dev->queues[qn]; dma_addr_t dma_addr = dma_map_single(&dev->pci_dev->dev, nvmeq->sq_cmds, SQ_SIZE(nvmeq->q_depth), DMA_TO_DEVICE); writel(dma_addr, &dev->bar->sq_tdbl(qn, 0)); // 写入控制器寄存器 ``` #### 3. 常见问题与排查 1. **DMA地址未对齐** - 症状：控制器返回`INVALID_FIELD`错误 - 检查：`dma_addr % 4096 == 0` - 解决方法：使用`dma_alloc_coherent()`分配对齐内存 2. **地址映射错误** - 症状：系统日志出现`DMA-API: device driver failed to check map error` - 排查工具： ```bash dmesg | grep -i dma cat /sys/kernel/debug/dma-api/errors ``` 3. **多队列配置冲突** - 参考virtio-scsi的多队列配置思路[^1] - 需保证`num_queues`参数与实际配置队列数一致 #### 4. 调试技巧 1. 使用`nvme-cli`工具验证队列状态： ```bash nvme show-regs /dev/nvme0 | grep SQnTDBL ``` 2. 检查PCI配置空间： ```bash lspci -vvv -s 00:1d.0 | grep Memory ``` #### 5. 性能优化 - 使用PRP（Physical Region Page）列表代替SGL（Scatter-Gather List） - 启用MSI-X中断与多队列并行处理 - 对齐DMA地址到HugePage边界（如2MB/1GB）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值