玩转NVIDIA Jetson （29）---浅谈jetson nano上的CPU绑定

最新推荐文章于 2025-05-05 22:51:05 发布

原创最新推荐文章于 2025-05-05 22:51:05 发布

· 666 阅读

1 ·

版权

文章标签：

#深度学习 #LSTM推理 #jetson nano #jetson

玩转NVIDIA Jetson AI GPU计算平台专栏收录该内容

35 篇文章

订阅专栏

文章讲述了在JetsonNano设备上，使用LSTMONNX模型进行推理时遇到的速度波动问题。作者通过排除法确定问题并非由模型或输入数据引起，而是CPU核心变换导致。通过将Python进程或C/C++调用绑定到特定CPU核心，成功解决了推理速度不稳定的状况。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景

在jetson nano上应用LSTM onnx格式的推理文件时，遇到了推理速度波动很大的问题，快的时候几个毫秒，慢的时候几十个毫秒。最重要的是在我们的应用中无法忽略这种波动，我们希望它能稳定在某个时间值下面，使得我们可以进行下一步的工程设计。

破题

在测试了输入数据，模型batch size及其他超参数都没有效果以后，基本排除了是模型计算带来的差异，几天没有进展，突然有一天早上将目光转移到是否是由于推理时发生了CPU核心的变换，导致计算的不稳定，于是测试了将python部分的代码绑定到固定的CPU核心上，果然解决了这个问题。

步骤

如果是独立运行的python文件，可以参考以下代码

import os
import psutil

# 绑定 CPU 核心
def set_cpu_affinity(core):
    pid = os.getpid()
    p = psutil.Process(pid)
    p.cpu_affinity([core])
    print("Python process running on CPU:", os.sched_getcpu())

# 示例函数
def my_function():
    set_cpu_affinity(1)
    # 进行其他操作

这段代码需要psutil包的支持，jetson下的conda环境中直接使用

conda install psutil

如果是C/C++调用python函数做推理，在C程序中使用下面代码绑定核心

#include <sched.h>
cpu_set_t cpuset;
CPU_ZERO(&cpuset);
CPU_SET(1, &cpuset);
sched_setaffinity(0, sizeof(cpuset), &cpuset);

总结

根据问题，找到原因，因地制宜