1. 为什么要在Jetson上折腾实时内核?
如果你正在用NVIDIA Jetson做机器人、工业视觉或者自动驾驶相关的开发,大概率遇到过这样的场景:一个关键的图像处理任务,明明计算资源充足,但偶尔就是会“卡”那么几毫秒,导致整个控制循环的周期被打乱。或者,你的网络数据包处理延迟忽高忽低,让基于时间戳的同步变得异常困难。这些问题,根源往往不在于你的算法,而在于你使用的通用Linux内核。
通用Linux内核,比如我们刷机后默认用的那个,它的设计目标是高吞吐量和公平性。它就像一个面面俱到的管家,努力让所有进程都“雨露均沾”,谁也别饿着。但对于需要确定性和低延迟的实时任务来说,这种“公平”就成了灾难。一个后台的日志写入、一次内存回收,都可能让高优先级的实时任务等待数十甚至数百微秒,这在微秒级精度的工业控制里是不可接受的。
这就是PREEMPT_RT(实时抢占补丁) 和 DPDK(数据平面开发套件) 登场的理由。简单来说,PREEMPT_RT的目标是把Linux内核从一个“好好先生”改造成一个“铁面判官”,让最高优先级的任务能够随时打断内核自身的工作,确保响应时间的上限是可预测的。而DPDK则绕过了操作系统复杂的网络协议栈,让应用程序直接和网卡“对话”,把网络数据包处理的延迟和抖动降到最低。
把这两者结合在Jetson这样的嵌入式AI平台上,你就能得到一个既能跑复杂AI模型,又能保证硬实时控制的“超级终端”。我过去在多个工业项目里踩过坑,也尝过甜头,今天就把从内核编译到网络加速的全流程,掰开揉碎了讲给你听。
2. 环境准备:工欲善其事,必先利其器
在开始编译内核这个“大工程”之前,把环境搭建好能省去后面90%的麻烦。这里强烈建议你使用一台x86_64架构的Ubuntu主机(18.04或20.04 LTS比较稳妥)进行交叉编译,而不是直接在Jetson板卡上操作。在板卡上编译不仅慢,还容易因为资源不足而出错。
2.1 获取正确的源码和工具链
这是最容易出错的第一步。NVIDIA为不同版本的JetPack(L4T)提供了特定的内核源码和交叉编译工具链,版本必须严格对应,否则编译出来的内核可能无法启动,或者设备树不匹配导致外设失效。
第一步:确定你的JetPack版本。 在Jetson板卡上执行:
cat /etc/nv_tegra_release
或者直接用 jetson_release 命令。记下输出中的关键信息,比如 R35.3.1 或 R36.2.0。然后去NVIDIA官方的开发者网站,找到对应L4T版本的“Driver Package”和“Sources”。
第二步:下载必备组件。 通常你需要下载三个核心文件(以L4T R35.3.1为例):
- Jetson Linux Driver Package:包含基础系统、内核头文件和工具。
- Kernel Sources:即内核源码包(通常是
public_sources.tbz2或kernel_src.tbz2)。 - 交叉编译工具链:这是关键!必须使用NVIDIA官方提供的针对你L4T版本的GCC Linaro工具链。例如,对于很多基于ARM Cortex-A57/A78的Jetson设备,常用的是
gcc-linaro-7.3.1-2018.05-x86_64_aarch64-linux-gnu。直接从NVIDIA开发者页面下载,别用Ubuntu仓库里的gcc-aarch64-linux-gnu,可能会有库依赖问题。
第三步:安装宿主机依赖。 在你的Ubuntu编译机上,安装编译内核所需的基础工具:
sudo apt-get update
sudo apt-get install -y bc build-essential kmod cpio flex libncurses5-dev libncursesw5-dev libssl-dev libelf-dev
这些包提供了配置内核(make menuconfig)、处理压缩包等必需工具。
2.2 创建并配置编译环境
我习惯创建一个独立的工作空间,把所有东西都放进去,这样环境变量清晰,也便于管理。
# 创建工作目录
export WORKSPACE=~/jetson_rt_build
mkdir -p $WORKSPACE
cd $WORKSPACE
# 解压驱动包和源码
tar -xf jetson_linux_r35.3.1_aarch64.tbz2
cd Linux_for_Tegra/
sudo tar -xf ../tegra_linux_sample-root-filesystem_r35.3.1_aarch64.tbz2 -C rootfs/
cd ../
# 解压内核源码
tar -xjf public_sources.tbz2
tar -xjf Linux_for_Tegra/source/public/kernel_src.tbz2
# 解压交叉编译工具链
tar -xf gcc-linaro-7.3.1-2018.05-x86_64_aarch64-linux-gnu.tar.xz
接下来,设置最关键的环境变量,告诉编译系统去哪里找交叉编译器:
export CROSS_COMPILE=$WORKSPACE/gcc-linaro-7.3.1-2018.05-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu-
export ARCH=arm64
export TEGRA_KERNEL_OUT=$WORKSPACE/kernel_out
mkdir -p $TEGRA_KERNEL_OUT
把这几行加到你的 ~/.bashrc 文件里,然后 source ~/.bashrc,这样每次打开终端就不用重复设置了。
3. 为内核注入“实时”灵魂:应用PREEMPT_RT补丁
源码准备好了,现在开始打补丁。从Linux 5.10内核开始,PREEMPT_RT补丁已经逐步被主线内核接纳,但Jetson平台常用的L4T版本(如基于4.9或5.10)通常还是需要手动应用补丁。幸运的是,NVIDIA在较新版本的内核源码包里已经附带了补丁脚本。
3.1 应用实时补丁
进入内核源码目录,运行补丁脚本:
cd $WORKSPACE/kernel/kernel-5.10/
./scripts/rt-patch.sh apply-patches
这个过程应该会顺利输出一系列补丁应用成功的提示。如果脚本提示某些补丁失败(Hunk failed),这通常意味着你的内核源码版本和补丁版本不完全匹配。这时你需要去 kernel.org 或实时补丁项目的官方仓库,找到与你内核版本号完全一致的RT补丁包,手动应用。手动打补丁的命令是 patch -p1 < ../patch-xxxx-rt.patch,需要一定的耐心处理冲突。
3.2 配置内核:打开实时抢占的开关
应用补丁只是第一步,更重要的是在内核配置中启用实时抢占功能。
# 进入我们指定的输出目录,并载入NVIDIA为Tegra准备的默认配置
make O=$TEGRA_KERNEL_OUT tegra_defconfig
# 启动图形化配置界面
make O=$TEGRA_KERNEL_OUT menuconfig
menuconfig 界面对于新手可能有点眼花缭乱,但别怕,我们只关注几个关键选项。用方向键导航,回车键进入子菜单,空格键切换选择([*]表示编译进内核,[M]表示编译为模块)。
必须修改的核心配置项:
-
General setup -> Preemption Model 这是最重要的开关!进入后,你会看到几个选项:
No Forced Preemption (Server): 服务器模式,基本不可抢占。Voluntary Kernel Preemption (Desktop): 自愿式抢占,桌面版常用。Preemptible Kernel (Low-Latency Desktop): 可抢占内核,低延迟桌面。Fully Preemptible Kernel (Real-Time): 完全可抢占内核(实时)。必须选这个!
-
Timer frequency 路径:
Kernel Features -> Timer frequency。 更高的定时器频率(如1000 Hz)意味着内核更频繁地检查是否有更高优先级任务需要运行,这能降低调度延迟,但会增加一点点CPU开销。对于实时系统,通常设置为1000 Hz。如果你的应用对功耗极其敏感,可以考虑250 Hz或300 Hz,但需要测试是否满足延迟要求。 -
High-Resolution Timer Support 路径:
Device Drivers -> Timers subsystem -> High-Resolution Timer Support。 确保此项被启用([*])。高精度定时器是提供微秒级定时精度的基础。 -
Threaded IRQs(中断线程化) PREEMPT_RT 的一个核心特性是将大部分硬件中断处理程序(IRQ)转化为内核线程。这样,这些中断处理程序就可以被更高优先级的实时线程抢占。 路径:
General setup -> IRQ subsystem -> Threaded IRQ core。这个选项在应用了RT补丁后通常默认是开启的,检查一下即可。
配置完成后,选择 < Save >,使用默认的 .config 文件名保存,然后退出。
4. 编译与安装:打造专属的实时内核
配置搞定,接下来就是漫长的编译过程。喝杯咖啡,让它跑一会儿。
# 使用多线程编译内核镜像和模块,数字16根据你编译主机的CPU核心数调整(通常是核心数*2)
make O=$TEGRA_KERNEL_OUT -j16
# 编译成功后,安装内核模块到rootfs目录
sudo make O=$TEGRA_KERNEL_OUT modules_install INSTALL_MOD_PATH=$WORKSPACE/Linux_for_Tegra/rootfs/
编译过程视主机性能,可能需要15分钟到1小时。如果遇到编译错误,最常见的原因是缺少某个头文件或依赖库,根据错误信息安装对应的 -dev 包即可。
编译完成后,你会得到两个最重要的东西:
- 内核镜像文件:
$TEGRA_KERNEL_OUT/arch/arm64/boot/Image - 内核模块:已经安装到了
$WORKSPACE/Linux_for_Tegra/rootfs/lib/modules/下,目录名是你的新内核版本(带-rt后缀)。
4.1 部署新内核到Jetson
传统方法是重新刷写整个系统镜像,但这太耗时。更灵活的方法是“替换内核法”,只替换启动用的内核文件。
第一步:备份原内核。 将编译好的 Image 文件重命名为 Image-rt 以示区分,并拷贝到Jetson板卡的 /boot 目录下,同时备份原版内核。
# 在Jetson板卡上执行
sudo cp /boot/Image /boot/Image.bak
sudo cp /path/to/your/Image-rt /boot/Image
第二步:更新内核模块。 将编译主机上 rootfs/lib/modules/ 下的新内核模块目录,整个打包并拷贝到Jetson板卡对应的 /lib/modules/ 下。确保权限正确。
第三步:配置引导器。 Jetson使用 extlinux 而不是常见的GRUB。编辑 /boot/extlinux/extlinux.conf 文件:
sudo vim /boot/extlinux/extlinux.conf
你会看到多个 LABEL 段落。找到当前正在使用的段落(通常是第一个 LABEL primary),你可以直接修改它,或者更稳妥地,复制一份作为新的启动项。关键是在 APPEND 那一行后面,添加实时优化和DPDK所需的内核启动参数:
LABEL primary
MENU LABEL Primary RT Kernel
LINUX /boot/Image
FDT /boot/tegra194-p3668-all-p3509-0000.dtb # 设备树文件,根据你的Jetson型号而定
INITRD /boot/initrd
APPEND ${cbootargs} quiet root=/dev/mmcblk0p1 rw rootwait rootfstype=ext4 console=ttyTCU0,115200n8
# ==== 实时与DPDK优化参数 ====
# 1. 隔离CPU核心,防止普通进程干扰
isolcpus=2,3
# 2. 在隔离的CPU上禁用时钟中断(Tickless),进一步减少抖动
nohz_full=2,3
# 3. 配置大页内存,DPDK性能关键!
default_hugepagesz=1G
hugepagesz=1G
hugepages=4
# 4. 禁用看门狗(非关键任务可关,减少中断)
nowatchdog
# 5. 设置CPU频率调节器为性能模式
cpufreq.performance=1
这里 isolcpus=2,3 表示将CPU核心2和3隔离出来,专供实时任务和DPDK使用。nohz_full 需配合 isolcpus 使用。大页内存设置为4个1GB,这为DPDK预留了连续的大块物理内存。
第四步:重启并验证。
sudo reboot
重启后,执行 uname -a,如果看到内核版本信息里包含 PREEMPT RT 字样,比如 5.10.104-rt63-tegra,恭喜你,实时内核启动成功!
5. 实时性验证与性能调优
内核装好了,但它到底有多“实时”?我们需要用工具量化测试。
5.1 使用cyclictest进行延迟测试
安装测试工具:
sudo apt-get install rt-tests
运行一个经典的延迟测试:
sudo cyclictest -t -p 80 -n -m -D 1h -i 1000 -l 1000000 -h 500 -q > latency.log
参数解释:
-t: 运行线程模式。-p 80: 设置线程优先级为80(数字越大优先级越高,范围1-99)。-n: 使用clock_nanosleep获得更高精度。-m: 锁存测试线程到内存,防止被交换出去。-D 1h: 测试持续1小时。-i 1000: 线程间隔1000微秒(1ms)。-l 1000000: 循环100万次。-h 500: 生成延迟直方图,统计到500微秒。-q: 安静模式,只输出摘要。
测试结束后,查看 latency.log。重点关注 Max Latency(最大延迟) 和 Histogram(延迟分布直方图)。一个优化良好的实时系统,99.99%的延迟都应该在几十微秒以内,最大延迟不应超过几百微秒。如果发现最大延迟(Max)达到毫秒级,说明系统存在严重的“停顿”。
5.2 内核参数与系统调优
如果测试结果不理想,别急,还需要进行一系列系统级的“微调”:
-
禁用CPU频率调节和节能状态:确保CPU以最高性能运行,避免频率变化引入延迟。
# 设置为性能模式 sudo sh -c "echo performance > /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor" # 禁用C-State(深度睡眠状态) sudo sh -c "echo 1 > /sys/devices/system/cpu/intel_pstate/no_turbo" # 对于某些Intel CPU # 对于ARM,可能需要修改内核启动参数 `maxcpus=4` 并配合 `cpuidle.off=1`更彻底的做法是在GRUB/Extlinux配置中添加内核参数:
intel_pstate=disable processor.max_cstate=1 idle=poll。 -
调整进程调度策略:对于最关键的实时进程,使用
SCHED_FIFO或SCHED_RR调度策略,并赋予最高优先级(如99)。// 在你的C程序中 struct sched_param param; param.sched_priority = 99; sched_setscheduler(0, SCHED_FIFO, ¶m);同时,记得用
pthread_attr_setschedpolicy设置线程属性。 -
内存锁与栈预分配:防止实时任务在运行时发生缺页中断。
mlockall(MCL_CURRENT | MCL_FUTURE); // 锁定所有当前和未来的内存页面 // 并且为关键线程预分配足够大的栈空间。 -
中断亲和性设置:将网络、磁盘等可能产生大量中断的设备,绑定到非实时的CPU核心上(比如我们之前隔离了2,3号核心,就把中断绑定到0,1号核心)。
# 查看网卡eth0的中断号 grep eth0 /proc/interrupts # 假设中断号是123,将其绑定到CPU0 sudo sh -c "echo 1 > /proc/irq/123/smp_affinity"
6. 释放网络性能:DPDK的编译与部署
实时内核保证了任务调度的确定性,而DPDK则负责解决网络I/O的瓶颈。它通过用户态驱动、轮询模式和巨页内存,将网络包处理延迟从内核态的微秒级降到用户态的亚微秒级。
6.1 交叉编译DPDK
在编译主机上,我们同样需要为ARM架构交叉编译DPDK。
第一步:解决依赖——编译numactl库。 DPDK依赖numactl库来管理NUMA架构的内存(Jetson Orin系列是NUMA架构)。我们需要先交叉编译它。
cd $WORKSPACE
git clone https://github.com/numactl/numactl.git -b v2.0.13
cd numactl
./autogen.sh
autoconf -i
./configure --host=aarch64-linux-gnu --prefix=$WORKSPACE/numa_install CC=${CROSS_COMPILE}gcc
make -j$(nproc)
make install
第二步:配置并编译DPDK。 这里以DPDK 21.11 LTS版本为例,它比较稳定。
cd $WORKSPACE
wget https://fast.dpdk.org/rel/dpdk-21.11.9.tar.xz
tar -xf dpdk-21.11.9.tar.xz
cd dpdk-stable-21.11.9
# 创建并配置交叉编译文件
cat > arm64_armv8_linux_gcc_nvidia << EOF
[binaries]
c = '${CROSS_COMPILE}gcc'
cpp = '${CROSS_COMPILE}g++'
ar = '${CROSS_COMPILE}ar'
strip = '${CROSS_COMPILE}strip'
pkgconfig = 'pkg-config'
[host_machine]
system = 'linux'
cpu_family = 'aarch64'
cpu = 'armv8-a'
endian = 'little'
[properties]
root = '$WORKSPACE/numa_install' # 指向numactl安装目录
然后使用Meson和Ninja构建系统进行编译:
meson setup build --cross-file arm64_armv8_linux_gcc_nvidia -Dprefix=$WORKSPACE/dpdk_install -Ddisable_drivers=common/cnxk,net/cnxk,crypto/cnxk,event/cnxk,mempool/cnxk
ninja -C build
ninja -C build install
-Ddisable_drivers 参数用于禁用一些Jetson平台不支持的驱动(如Marvell的cnxk系列),可以加快编译速度。
6.2 在Jetson上配置与运行DPDK
将编译好的 $WORKSPACE/dpdk_install 目录拷贝到Jetson板卡上,例如 /opt/dpdk。
第一步:加载大页内存。 我们在内核启动参数中已经预留了4个1GB的大页。启动后检查:
cat /proc/meminfo | grep Huge
应该能看到 HugePages_Total: 4。如果没有,需要手动挂载:
sudo mkdir -p /mnt/huge
sudo mount -t hugetlbfs nodev /mnt/huge
第二步:加载用户态IO驱动。 DPDK需要接管网卡,这通常通过 uio_pci_generic 或 vfio-pci 驱动实现。对于Jetson平台常见的PCIe网卡(如Intel I210/I350):
# 先查看网卡PCI地址
lspci | grep Ethernet
# 假设网卡是 01:00.0,先卸载内核驱动
sudo ip link set eth0 down
sudo modprobe uio_pci_generic
sudo sh -c "echo '8086 1533' > /sys/bus/pci/drivers/uio_pci_generic/new_id" # 8086:1533 是I210的ID
sudo sh -c "echo 0000:01:00.0 > /sys/bus/pci/devices/0000:01:00.0/driver/unbind"
sudo sh -c "echo 0000:01:00.0 > /sys/bus/pci/drivers/uio_pci_generic/bind"
注意:对于Jetson自带的集成网卡(如RTL8111/8168),DPDK可能没有现成的驱动支持,你需要使用额外的PCIe网卡。
第三步:运行DPDK测试程序。
cd /opt/dpdk
# 设置大页内存环境变量
export RTE_SDK=$(pwd)
export RTE_TARGET=arm64-armv8a-linuxapp-gcc # 根据你的编译目标名调整
# 运行helloworld示例,检查DPDK环境
sudo ./examples/helloworld/build/helloworld
# 运行l2fwd(二层转发)示例,测试网络性能
sudo ./examples/l2fwd/build/l2fwd -l 2,3 -n 4 -- -p 0x3 --no-mac-updating
-l 2,3 指定DPDK使用的CPU核心(就是我们之前隔离的核心)。-p 0x3 表示使用端口0和端口1。
7. 实战踩坑与经验分享
这条路我走过,坑也踩过不少。这里分享几个最常见的“坑”和解决办法。
坑一:实时内核编译成功,但系统启动失败或卡住。 这通常是因为内核模块版本不匹配或设备树(DTB)文件不对。
- 排查:查看串口调试输出(Jetson有调试串口),看卡在哪个阶段。如果是“Failed to load kernel modules”,说明你安装的模块版本和运行的内核版本不一致。确保
INSTALL_MOD_PATH指向了正确的rootfs,并且modules_install命令执行成功。 - 解决:最干净的方法是,在编译主机上,用新内核的配置重新编译所有你需要的第三方内核模块(比如摄像头驱动、GPU驱动)。NVIDIA提供了
nvbuild.sh脚本来帮助构建外部模块。
坑二:cyclictest测试最大延迟依然很高(>1ms)。
- 排查:运行
sudo trace-cmd record -e sched_switch -e irq_handler_entry cyclictest ...然后用trace-cmd report分析。你可能会发现,高延迟时刻伴随着某个特定的中断(比如GPU、USB)或者内核工作队列(kworker)。 - 解决:
- 中断隔离:使用
irqbalance服务或手动设置smp_affinity,将可能产生高负载中断的设备(如USB控制器、GPU)绑定到非实时CPU。 - 屏蔽看门狗:
nowatchdog内核参数有时能带来惊喜。 - 检查电源管理:确保CPU没有进入深度节能状态(C-State)。在BIOS/UEFI或内核参数中彻底关闭C-State。
- 使用CPU屏蔽:不仅用
isolcpus,还可以用taskset或cset shield更严格地将实时进程限制在隔离核上。
- 中断隔离:使用
坑三:DPDK程序无法分配大页内存或绑定网卡失败。
- 排查:首先确认
/proc/meminfo中的大页数量是否正确。然后检查dmesg | grep -i huge和dmesg | grep -i uio的输出。 - 解决:
- 大页内存:确保内核启动参数
hugepagesz和hugepages正确,并且/etc/fstab中有hugetlbfs的挂载项(可选,DPDK程序通常会自己处理)。 - 网卡绑定:对于某些网卡,
uio_pci_generic可能不工作,需要改用vfio-pci驱动,这需要内核支持IOMMU并在启动时启用iommu=pt参数。绑定前务必用ip link set down关闭网卡。 - Jetson平台特殊性:一些基于Jetson的载板,其PCIe总线或网卡PHY可能需要特殊的设备树配置。如果DPDK始终检测不到网卡,可能需要咨询载板供应商,确认PCIe资源配置是否正确。
- 大页内存:确保内核启动参数
坑四:实时任务与GPU计算任务冲突。 Jetson的GPU驱动(NVIDIA DRIVER)会创建一些高优先级的内核线程。在实时内核下,这些线程可能会和你的实时任务竞争。
- 缓解:尝试在运行关键实时任务时,暂停使用GPU。或者,通过
nvidia-smi -i 0 -pm 1设置GPU为持久模式,并调整其时钟频率,减少动态调整带来的影响。更高级的做法是使用NVIDIA的GPU计算上下文优先级设置,但这需要深入CUDA编程。
把PREEMPT_RT和DPDK这两大“神器”在Jetson平台上跑通,只是构建确定性系统的第一步。真正的挑战在于,如何根据你具体的应用负载(是视觉流水线还是运动控制?),持续观测(用ftrace、perf)、精细调优(调度策略、中断、内存),让整个系统在复杂工况下依然稳如磐石。这个过程没有银弹,需要反复的测试、分析和调整。但当你看到 cyclictest 的输出中,那最大延迟稳定地保持在百微秒以下时,那种成就感,绝对是值得的。
327



被折叠的 条评论
为什么被折叠?



