学习笔记——PCIe

本文为学习笔记，故只对知识点依据自己的理解作概要总结，方便以后复习激活记忆

如有错误，欢迎指正！

一、编址

学习PCIe关键要弄清楚采用PCIe的计算机系统中是怎么编址的，这样才能理解DMA、P2P DMA等通信是如何进行的

PCIe计算机硬件系统结构

上图是一个采用NUMA架构的PCIe计算机硬件系统结构。为了方便理解，CPU的结构是基于Intel的Sky Lake架构抽象得到，主要表达CPU内部各个硬件电路的关系，并非硬件实际电路结构。GPU为PCIe版GPU，并且两个NUMA节点下的GPU使用的是NvLink桥接器进行直接连接。此外，假设操作系统为Linux 64位操作系统

在这样一个计算机系统中，总共有三个地址空间：虚拟地址空间，物理地址空间，PCIe总线地址空间

虚拟地址空间

虚拟地址空间是操作系统虚拟出来的一个地址空间，每个进程都有这样的一个虚拟地址空间，并且相互独立。直观来讲，这个地址空间就是编程时看到的地址空间，比如使用C语言的printf函数输出某个变量的地址，这个地址就是虚拟地址。这么设计的目的就在于可以在有限的内存资源中虚拟出非常庞大的内存资源来给进程使用；并且由于采用相同的地址空间，操作系统在进行管理的时候也非常方便

Linux 64位系统虚拟地址空间

上图展示了Linux 64位系统中每个进程的虚拟地址空间的结构。其中，内核空间在地址的高位，用户空间在地址的低位，中间的地址不做使用，如果程序访问这段地址则会产生无效访问的错误。

物理地址空间

本文所