1. 从零开始:为什么要在Linux 5.4上折腾TSI721 RapidIO?
如果你正在嵌入式高性能计算或者工业通信领域工作,比如做雷达信号处理、医疗影像设备或者工业自动化控制器,那你很可能遇到过这样的头疼事:板卡之间需要高速、稳定、低延迟地交换海量数据。传统的以太网延迟太高,PCIE又受限于板内互联,这时候,RapidIO 就该登场了。
简单来说,RapidIO就是一种专门为嵌入式系统内部芯片间、板卡间高速互联而生的交换网络协议。它有点像给计算机内部组件修了一条专用的“数据高速公路”,延迟极低,带宽又高,特别适合对实时性要求苛刻的场景。而 TSI721,就是IDT(现在属于瑞萨)公司推出的一款非常经典的RapidIO端点(Endpoint)控制器芯片,很多高性能的嵌入式板卡都搭载了它。
那么问题来了,硬件有了,怎么让系统用起来呢?这就得靠驱动。Linux内核虽然自带了RapidIO子系统,但针对特定芯片的驱动,尤其是像TSI721这种功能丰富的商业芯片,其官方驱动往往更新更及时、功能更完整。所以,我们常常需要从RapidIO社区获取独立的驱动包进行部署。我这次实战的环境是 Linux 5.4内核,这是一个在嵌入式领域非常流行且稳定的长期支持版本。在这个环境下部署TSI721驱动,并把它调教到最佳性能,就是咱们这篇文章要啃下来的硬骨头。
整个过程,我会带你走一遍我亲自踩过坑的完整流程:从驱动源码获取编译,到双板卡系统的配置与枚举,再到最核心的DMA性能调优。你会发现,调几个关键参数,传输速度可能就有天壤之别。好了,咱们废话不多说,直接开干。
2. 实战第一步:驱动获取、编译与安装
2.1 获取正确的驱动源码
首先,别急着用内核自带的驱动。为了获得最好的兼容性和性能,我们直接去RapidIO的官方GitHub仓库获取最新的独立驱动包。我实测时用的是 kernel-rapidio-2.0_HS 这个版本,它对Linux 5.4的支持很好。
打开终端,执行下面的命令来下载和解压:
wget https://github.com/RapidIO/kernel-rapidio/archive/refs/tags/v2.0_HS.tar.gz
tar -zxvf v2.0_HS.tar.gz
cd kernel-rapidio-2.0_HS
解压后,你会看到一个名为 kernel-rapidio-2.0_HS 的目录,这就是我们的“武器库”。这里有个小细节要注意:这个驱动包是一个“树外”(out-of-tree)模块,意味着它独立于内核源码树编译。这样做的好处是灵活,不依赖特定内核源码,但编译时需要你当前运行的内核的头文件开发包(通常是 linux-headers-$(uname -r))已经安装好。
2.2 编译驱动模块
编译过程非常简单,一条 make 命令即可。但在这之前,我建议你先确认一下你的交叉编译工具链(如果是嵌入式环境)或者本机的gcc版本是否合适。
make
如果一切顺利,编译完成后,会在当前目录生成一个以你内核版本命名的子目录,比如 kernel-5.4.0-150-generic。这个目录里就存放着所有编译好的 .ko(内核模块)文件。对我们最重要的几个是:
rapidio.ko: RapidIO子系统核心模块。tsi721_mport.ko: TSI721芯片的主端口驱动,这是性能调优的关键。idt_gen2.ko: 用于IDT Gen2交换机的驱动(如果你的拓扑里有交换机)。rio-scan.ko: 负责RapidIO网络的枚举和发现。rio_mport_cdev.ko和rio_cm.ko: 提供用户空间访问和连接管理支持。rionet.ko: 基于RapidIO的网络设备驱动,能让RapidIO网络像以太网一样使用。
2.3 编译测试应用程序
光有驱动还不够,我们还需要工具来测试和验证。驱动源码包里贴心地提供了测试程序,在 libmport/ 目录下。
cd libmport/
make samples
编译成功后,你会得到几个可执行文件,比如 rio_test_dma(用于DMA测试)、rio_test_db(用于Doorbell测试)等。把这些测试程序和前面编译好的 .ko 文件一起,拷贝到你的目标开发板上。我习惯在板子上建一个专门的工作目录,比如 /home/root/rapidio_test/,把所有东西都放进去,管理起来方便。
3. 双板卡系统配置与网络建立
我们的实战场景需要两块同样的板卡(假设叫A板和B板),它们通过RapidIO背板或线缆直接相连。TSI721芯片通常是以PCIe设备的形式出现在系统里的,所以驱动加载前,先用 lspci 命令确认一下是否能识别到硬件。
3.1 安装驱动与角色分配
RapidIO网络需要有一个“管理者”来分配地址,这个角色叫枚举器(Enumerator)。另一块板子则作为被发现的设备。这是通过加载 rapidio.ko 模块时传递的 hdid(Host Destination ID)参数来决定的。
- B板(枚举器):我们指定它为枚举主机,设置
hdid=0。insmod rapidio.ko hdid=0 insmod tsi721_mport.ko dbg_level=0 mbox_sel=0xf dma_sel=0x7f pcie_mrrs=5 dma_txqueue_sz=4096 dma_desc_per_channel=4096 insmod idt_gen2.ko insmod rio-scan.ko - A板(被枚举设备):设置
hdid=-1,表示它等待被枚举。insmod rapidio.ko hdid=-1 insmod tsi721_mport.ko dbg_level=0 mbox_sel=0xf dma_sel=0x7f pcie_mrrs=5 dma_txqueue_sz=4096 dma_desc_per_channel=4096 insmod idt_gen2.ko insmod rio-scan.ko
这里加载 tsi721_mport.ko 时传入的一堆参数就是性能调优的“旋钮”,我们后面会详细讲。用 dmesg 查看内核日志,如果看到类似 tsi721_probe: SRIO Link Speed 5.0 Gbaud 的信息,就说明驱动识别到硬件并且链路训练成功了。
3.2 触发枚举与发现过程
这是一个需要严格顺序的“握手”过程。必须先启动所有等待发现的设备(A板),然后再启动枚举器(B板)。
-
在A板(hdid=-1)上执行:
echo -1 > /sys/bus/rapidio/scan这条命令触发A板进入“等待被发现”状态。查看
dmesg,你会看到RIO: wait for enumeration to complete...,它在等B板发号施令。 -
紧接着,在B板(hdid=0)上执行:
echo -1 > /sys/bus/rapidio/scanB板开始扫描网络,为所有设备分配目的ID(DestID)。此时再看两边的
dmesg,日志会刷屏,显示发现了设备、配置了端口等信息。看到... enumeration done和一系列found设备的信息,就表示RapidIO网络已经成功建立起来了!两块板子现在可以通过RapidIO地址互相“看见”对方了。
3.3 配置RIONET网络接口(可选但好用)
如果你觉得直接操作DMA和Doorbell太底层,那么 rionet 模块会让你感觉亲切很多。它能在RapidIO网络上虚拟出一个标准的以太网接口(比如 eth0),这样你就可以用熟悉的 ifconfig、ping、iperf 等网络工具来测试带宽和连通性了。
在枚举发现完成后,分别在两块板子上加载 rionet.ko:
# 在两块板子上都执行
insmod rio_mport_cdev.ko rio_res_mem=0x40000000 rio_res_size=0x10000000
insmod rio_cm.ko
insmod rionet.ko
加载成功后,dmesg 会打印出生成的网络接口名和MAC地址,例如 eth0: rionet Ethernet over RapidIO Version 0.3, MAC 00:01:00:01:00:01。之后就可以像配置普通网卡一样,给它们配置IP地址,然后互相 ping 通了。这对于快速验证链路连通性和进行初步的带宽测试非常方便。
4. 核心性能调优:让DMA飞起来
前面的步骤让系统跑起来了,但“能用”和“好用”之间,差的就是性能调优。对于大数据传输场景,DMA(直接内存访问)性能是重中之重。TSI721驱动提供了几个关键模块参数,直接影响DMA效率。
4.1 理解关键参数:MRRS与DMA队列
加载 tsi721_mport.ko 时我们传了一堆参数,其中三个是性能关键:
-
pcie_mrrs:这个参数最容易被忽略,但也可能成为瓶颈。MRRS(Max Read Request Size)是PCIe设备发起读请求时允许的最大载荷大小。如果这个值设置得太小,TSI721芯片每次从主机内存读取数据都需要拆分成很多次小的PCIe事务,开销巨大。驱动里默认可能会限制到256字节,这在大块DMA传输时是灾难性的。我通常直接设置为 5,代表最大支持4096字节(4KB),与常见的内存页大小对齐。你可以在加载驱动后的dmesg里确认是否生效(留意是否有limiting MRRS to 256的警告,我们希望没有)。 -
dma_txqueue_sz:DMA传输队列的大小。你可以把它想象成一个快递公司的发货仓库。仓库越大(这个值越大),就能堆积越多的“包裹”(DMA描述符),调度起来就更灵活,更能应对突发的大流量。对于持续的高带宽传输,我建议设置为 4096。 -
dma_desc_per_channel:每个DMA通道的描述符数量。一个DMA传输任务(比如传输1GB数据)会被拆分成很多个描述符。这个值决定了单个通道能同时管理多少个这样的数据块。如果传输的数据块很大或很零碎,这个值太小会导致DMA引擎经常停下来等待描述符。同样,设置为 4096 是一个在内存占用和性能之间很好的平衡点。
所以,我推荐的性能优化加载命令是:
insmod tsi721_mport.ko pcie_mrrs=5 dma_txqueue_sz=4096 dma_desc_per_channel=4096
注意:dbg_level、mbox_sel、dma_sel 这些参数在最终生产环境可以去掉或设为0,以减少日志输出。
4.2 DMA性能实测与对比分析
理论说再多,不如实际跑个分。我们用驱动自带的 rio_test_dma 工具来测试。
测试场景:A板作为DMA读取方(服务器),B板作为DMA写入/读取方(客户端),传输2MB数据。
- A板(接收端):
./rio_test_dma -M 0 -I 0x1000000 -R 0x2000000-I 0x1000000:在RapidIO地址空间开辟一个大小为16MB的接收窗口。-R 0x2000000:将这个窗口映射到RapidIO地址0x2000000上。- 程序会等待连接。
- B板(发送端):
./rio_test_dma -M 0 -D 0x0 -A 0x2000000 -S 0x200000 -T 2 -d -v-D 0x0:目标设备DestID(这里是A板)。-A 0x2000000:目标RapidIO地址(对应A板映射的地址)。-S 0x200000:传输大小2MB。-T 2:重复传输2次。-d:启用DMA。-v:详细输出。
在优化参数(pcie_mrrs=5)后,我实测的传输速率可以达到 1400+ MB/s(约11.2 Gbps),这已经非常接近TSI721 x4链路5.0 GT/s的理论带宽了。而如果使用默认参数(MRRS被限制为256),速度可能会暴跌到只有200-300 MB/s。这个差距是数量级的!
大数据量传输(>4MB)的坑:当传输数据量超过系统单个页面大小(通常4KB)时,驱动内部会使用分散/聚集列表(Scatter-Gather List)。这时候,dma_desc_per_channel 的大小就至关重要。如果它不够大,无法容纳整个SG列表,DMA传输就会失败或者分多次进行,严重影响效率。如果你的应用需要频繁传输几十MB甚至上GB的数据,适当调大这个参数是必要的,但也要注意这会消耗更多的内核内存。
4.3 Doorbell与消息传递测试
除了DMA,RapidIO的Doorbell(门铃)和消息传递是另一种低开销的通信机制,适合传输小规模的控制命令或通知。
使用 rio_test_db 工具测试Doorbell非常简单:
- 接收端:设置监听Doorbell值的范围。
./rio_test_db -M 0 -S 0x1a1a -E 0x5a5a -r - 发送端:向指定目标发送一个Doorbell值。
发送后,接收端会立即打印出收到的Doorbell信息。这种通信的延迟通常在微秒级,非常适合实时控制。./rio_test_db -M 0 -D 0x1 -I 0x1a5a
5. 故障排查与经验分享
折腾这套东西,不可能一帆风顺。我总结了几点常见的坑和排查思路:
-
枚举失败:99%的问题出在顺序上。务必牢记:所有
hdid=-1的设备要先执行echo -1 > /sys/bus/rapidio/scan进入等待状态,然后hdid=0的枚举器再执行扫描。顺序反了,或者等待时间不够,都会失败。多看看dmesg日志,线索都在里面。 -
DMA传输速度不达标:
- 首先检查
dmesg有无limiting MRRS to 256的警告。有的话,务必在加载驱动时加上pcie_mrrs=5。 - 使用
perf或top命令查看系统CPU使用率。如果DMA传输时CPU占用率很高,可能是驱动的中断处理或数据拷贝有优化空间,可以尝试调整中断亲和性(smp_affinity)。 - 确认RapidIO链路训练是否成功(
Link Speed 5.0 Gbaud,width=4x)。物理链路问题也会导致降速。
- 首先检查
-
内存分配失败:如果加载
rio_mport_cdev.ko时指定的rio_res_mem和rio_res_size与系统内存布局冲突,会导致模块加载失败。需要根据你板子的具体内存映射图来调整这两个参数。cat /proc/iomem命令可以帮助你查看当前系统的内存资源分布。 -
内核版本兼容性:虽然我们针对的是5.4内核,但社区驱动可能在不同的小版本(如5.4.0, 5.4.105)上有细微差异。如果编译或运行遇到奇怪问题,可以尝试在RapidIO的GitHub仓库查看对应分支或Issue。
最后,性能调优没有银弹。dma_txqueue_sz 和 dma_desc_per_channel 设置为4096是我在多数场景下的经验值,但如果你系统的内存非常紧张,或者传输模式是海量小包,可能需要适当调低。最好的方法是在你的真实业务负载下进行压测,观察不同参数组合时的吞吐量和延迟,找到最适合你那个场景的“甜蜜点”。记住,dmesg 是你的好朋友,任何时候出问题,第一个动作就是看它,里面通常藏着最直接的答案。
459



被折叠的 条评论
为什么被折叠?



