pcie的rc ep ats atc acs at关系

原创 已于 2023-12-30 14:30:46 修改 · 2.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记

于 2023-07-28 08:35:07 首次发布
PCIe是一种点对点的总线协议，包括RC、EP和Switch三种节点模式。ATS和ATC处理地址转换，其中ATS在RC进行，ATC在EP缓存。ACS作为安全补充，防止不诚信的地址访问。文章讨论了PCIe报文中的地址可能是虚拟或物理，以及如何通过iommu和安全策略确保访问控制。

# pcie是一种点对点的并且有层次的总线协议，为了完成这种属性设计了三种节点模式

- rc 根管理者模式

- ep 终端节点模式

- switch/bridge/pf 调度节点 类似路由器

# pcie的几个实体

- rc属于cpu芯片的单元

- eswitch 属于芯片

- ep属于某个外设

# pcie地址访问转换机制

术语：

ats 在ep或者rc上？ 用于想iommu请求转换地址 虚拟地址iova到pa

atc 地址转换缓存 在ep上 需要ep支持或开启该功能

at tlp报文中2个bit标记是否已经转换

pcie是基于信任的报文，意思是说ep标记at完全靠诚信 也可能没有atc他也标记了

at 是pcie报文中两个bit表示当前访问是否经过了iommu转换了 一般第一次ats转换后 由atc中缓存，下次使用直接atc取然后tlp报文at标记已转换 所以是基于信任的 当然同时带来了问题

pcie，报文里面访问的地址可能是虚拟地址，也可能是物理地址

如果是虚拟地址 就需要到iommu去做地址转换 需要转换就标记at

如果是atc里面存了 就是已转换地址 标记at已转换 

at在全链路路由 到达eswitch 如果at标记已转换 且目的落在本域 直接p2p，如果不在网上层送 类似路由器

# acs作用

acs： 地址控制服务 

pcie因为基于信用 带来问题就是可能不诚信 让ep访存绕过iommu 也就绕过一些检查

怎么办？就需要在调度节点添加一个类似acl的功能

acs就是在调度节点如果开启 那么在路由前 会做检查 如果配置了不允许p2p 就算at标记已转换 也得送到rc到iommu

acs相当于一个安全补丁

总结：

rc ep是节点，不同模式的节点 类似主从的关系节点

ats atc是地址转换的两种功能 s是第一次在rc去请求转运地址 c是第一次转换后的缓存 类似cpu的tbl

at是pcie tlp报文中的字段2bit 表示这个报文是否已经转换地址 如果atc查到就会标记为已转换 同时也可能被恶意标记

acs是类似解决恶意标记等问题 在bridge上打的补丁 哪怕标记at也得到rc走一圈 过iommu的一些安全策略

atc acs都是可开关的功能 简单理解atc在ep上 acs在eswitch上 ats在rc上

以上勘误后期逐渐完善

以上参考来自wikipedia和《软硬件融合 超大规模云计算架构创新之路》

【PCIe 总线及设备入门学习专栏 3.2.3 -- PCIe 中的 ATC 与 ATS】
CodingCos的博客
08-25 1597
在 PCIe 体系结构中，ATC（Address Translation Cache）和ATS（Address Translation Services）是用于优化地址翻译和内存访问性能的重要技术。它们主要应用于高性能计算和虚拟化环境中，以减少翻译延迟和提高内存访问效率。：缓存地址翻译结果，提高内存访问性能。：允许设备向 IOMMU 请求地址翻译，并将结果缓存到 ATC 中。协同工作：ATS 请求翻译，ATC 缓存结果，减少重复翻译请求，提高系统性能。
PCIe ATS介绍
maxwell2ic的博客
03-06 5651
主机侧使用IOMMU完成设备地址到物理memory地址的转换，以及设备访问权限的检查。但如果所有PCIe设备都在进行DMA操作，则TA（Translation Agent）和ATPT（Address Translation and Protection Table）则会成为瓶颈，从而影响系统的latency。
PCIe访问控制服务（ACS）
MangoPapa
09-14 2万+
✨ 1. 为何要用ACS ？ ????1.1 P2P传输风险   ATS（Address Translation Services）是一种基于信任的服务协议。如果EP端ATC（Address Translation Cache）声称其发出的访问请求是经过转换后的地址，且该地址刚好落在PCIe交换开关的BAR范围内，则该访问请求不会到达RC，而是被交换开关路由到该地址所对应的EP。也就是说，该访问请求绕
PCIe中ACS知识小记
Summer的博客
10-24 4200
虚拟机内部的访问数据显而易见是带的GPA地址。而目前几乎所有的PCIe 设备都带ACS control，所以它们可以单独assign给不同的VM，但是随之而来的就是即使两个GPU同时assign给同一个VM，由于ACS的存在，他们之间也不会有真正的物理层面的P2P访问。每一个TLP都自带一个address（寻址类TLP），同时每一个endpoint，PCIe switch都自带一段BIOS配置的地址空间范围，一旦这个TLP的address落入某个设备的地址范围，那么这个TLP就属于这个设备并消费。
[ATS]一文带你深入了解 PCIe ATS
元直的博客
12-22 1356
ATS之于iommu就相当于TLB之于cpu，其起到的作用不言自明。但是目前支持ATS的设备并不多，一方面是因为大部分业务场景下对这一块感知并不明显，那部分感知比较明显的比如HPC，机器学习这些业务主要依赖GPU，NV针对这些limit也早就做了优化比如gpudirect等；还就是在设备上增加cache也是需要成本的，本来设备上的SRAM也没有多大，另外就是非虚拟化场景intel iommu也支持PT的方式从而避免了iova的转换的开销。但是随着云原生和serverless的出现，可能就不一样了。
PCIe地址转换服务（ATS）详解
热门推荐
MangoPapa
09-12 3万+
PCIe地址转换服务（ATS）详解
pcie的rc ep ats atc acs at关系拾遗2（intel_iommu=on影响的是所有tlp报文都必须过rc、ats是补丁）
技术札记
03-18 833
iommu=pt和nopt的影响关系， 对于开启iommu=on的，是整个linux系统层面的开关。at是tlp报文中的bit位，如果从ep发给gpu，发出去的报文标注了at可以指定是否pass though，这为了应对开启iommu，如果配置了ep上的ats，在发送出去的时候直接配置为pass though，从而不进行iommu的转换。如果是nopt，则会把iova到hpa的mapping到dma中，则dma发起的tlp报文中的地址就是iova，并且没开启pt，当报文到达iommu的时候就会转换。
PCIe系统中ATS的作用
最新发布
元直的博客
05-30 847
ATS 的工作主要涉及 PCIe 设备 (Requester/Client) 和根联合体 (Root Complex, RC) 中的地址转换代理 (Translation Agent, TA，通常是 IOMMU 的一部分) 之间的交互。总而言之，PCIe ATS 通过在设备端引入地址转换缓存和相应的请求-完成协议，有效地优化了 DMA 过程中的地址转换，降低了系统开销，提升了 I/O 性能，并为虚拟化环境提供了关键支持。它允许 PCIe 设备主动参与地址转换过程，从而减少系统开销并提升性能。
PCIe ATS
muyiwushui的博客
05-06 1169
ATS包括地址转换和地址作废两个部分;组件必须兼容PCIe-1.1组件；ATS是通过Capability和相关配置结构使能；为了使能ATS，软件需要检测该Capability和让该Function发送ATS TLP；ATS TLP是通过地址或Requester ID路由；ATS TLP需要满足协议规定的顺序规则；ATS TLP通过Switch不能被改变；Function允许转换地址和非转换地址转换；ATS transaction不能依赖地址来发送额外的信息；
pcie ATS and PRI
bortonyu的博客
12-02 716
2. pri是为了解决dma的时候不用先把所有的数据都放到memory，而是通过pcie 设备发出page request给rc，rc的smmu再实现把所有的页都准备好放到pri queue中，然后在通过ep可以进行dma了。1. ats是把解决本地smmu的tlb无法很好的解决多个pcie设备地址命中的问题，所以把tlb的功能放到远端的pcie设备端的ATC。
PCIe的ATS机制
yiyeguzhou100的专栏
11-27 3939
而根据现今大量学术界和工业界的研究表明，决定查表性能的好坏的一个最为关键的点是TLB的预测。而ATS的机制恰好提供了一个TLB的预测卸载到源头去的机制，让用户（设备）自己根据自己自身的业务流来设计自己的预测策略，而且用户彼此之间的预测模型不会受到彼此的影响，从而大大提高了用户自己的预测的准确性。因此，对于malicious设备，或者是被入侵的设备，又或者是设备自身设计的bug，其会发出PA访问那些其没有权限访问或者是不属于其的物理地址空间，从而带来系统的isolation的破坏，系统安全的威胁等安全问题。
pcie ATS资源收集
baidu_38316985的博客
11-16 231
pcie ats
双Orin PCIe RC&EP模式互通 嵌入式
DevCyberX的博客
09-02 1736
双Orin PCIe RC&EP模式互通基于PCIe总线协议，其中RC代表Root Complex（根复杂），EP代表Endpoint（端点）。本文将详细介绍双Orin PCIe RC&EP模式互通的原理、实现方法和相应的源代码。配置PCIe寄存器：在RC端，需要配置PCIe配置空间寄存器，包括Vendor ID、Device ID、Command等信息，以便进行设备的识别和初始化。分配和映射内存：在RC端，需要分配一块内存用于存储待传输的数据，并将其映射到PCIe的物理地址空间中，以便EP可以访问。
双通道Orin PCIe RC和EP在嵌入式系统中的互通性
DevCyberX的博客
09-05 692
随着嵌入式系统的发展，双通道Orin PCIe RC和EP模式的互通性成为了一个重要的话题。在嵌入式系统中，通过实现双通道Orin PCIe RC和EP模式的互通，可以实现高效的数据传输和协同工作。通过实现双通道Orin PCIe RC和EP模式的互通，嵌入式系统可以实现高效的数据传输和协同工作。通过合理配置和使用源代码示例中的方法，可以实现高效的数据传输和协同工作，提高系统性能和响应速度。在嵌入式系统中，我们可以通过一些特定的配置和代码来实现双通道Orin PCIe RC和EP模式的互通。
[PCIe]PCIe的RC模式和EP模式有什么区别？
启芯硬件的博客
12-12 4553
EP模式下，PCIE控制器接收针对本地内存空间的读写操作。RC设备用于连接CPU/内存子系统 和 I/O设备；RC模式下，PCIE配置头中的类型值为1；EP模式下，PCIE配置头中的类型值为0；EP设备通常表示一个串行或I/O设备；RC模式下，支持配置和I/O事务。
PCIE结构拓扑（RC、EP、SWITCH）介绍
weixin_42031299的博客
05-14 1万+
(1)个人理解：红色方框部分一般是在芯片内部集成，对外可提供多个PCIE接口；(2)芯片提供的PCIE接口，可以接EP设备、PCI桥、Switch设备；
PCIe EP/RC 核心功能解释
qq_30883899的博客
05-20 1410
本文介绍了 PCIe 设备中几种关键技术的功能与应用，包括 BAR 访问、DMA 传输、MSI 中断、EP 卡中断事件以及 ELBI 中断。BAR 用于主机与设备之间的寄存器访问，DMA 实现高效数据传输，MSI 提供低延迟中断通知，EP 卡中断事件处理设备内部状态，ELBI 则用于设备内部模块通信。文章还通过数据采集卡的示例展示了这些技术的协同工作流程，并对比了它们的特点与适用场景，如数据采集、GPU/FPGA 加速和网络适配器等。这些技术共同提升了 PCIe 设备的性能与效率。
PCIE总线-PCI、PCIE关系及信号定义
maopig的专栏
01-10 6305
PCI(Peripheral Component Interconnect)总线规范在上世纪九十年代由Intel提出。在处理器体系结构中，PCI总线属于局部总线(Local Bus)。局部总线作为系统总线的延伸，主要功能是为了连接外部设备。 处理器主频的不断提升，要求速度更快，带宽更高的局部总线。起初PC使用8位的XT总线作为局部总线，并很快升级到16位的ISA(Industry Standard Architecture)总线，逐步发展到32位的EISA(Extended Industry Standa
一文读懂PCIe的RC模式和EP模式的区别和应用案例
启芯硬件的博客
06-12 9200
1-是什么？PCIe（Peripheral Component Interconnect Express）是一种高速串行总线标准，用于连接计算机的主板和外部设备，如显卡、网卡、存储控制器等。PCIe设备根据其功能和角色可以分为根端点（Root Complex，RC）、端点（Endpoint，EP）和插槽（Switch，SW）。2-有什么区别？1、RC：Root ComplexRC设备用于连接CPU...
PCIE作为EP端和RC端 DMA有何不同
04-12
好的，我现在需要回答用户关于PCIe中EP端和RC端在DMA操作上的差异的问题。首先，我需要理解用户的问题，然后结合提供的引用内容来组织答案。 首先，用户的问题集中在DMA操作的差异和实现方式上。根据引用[4]，PCIe...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值