提示:对于“[TRT] [W] Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors.”该问题,记录自用
前言
提示:在jetson平台推理,出现该问题:
[TRT] [W] Using an engine plan file across different models of devices is not recommended and is likely to affect performance or even cause errors.
[TRT] [W]不建议在不同型号的设备上使用引擎计划文件,这可能会影响性能甚至导致错误。
一、问题分析
我的.engine文件生成和推理都是在同一个硬件即jetson orin NX上进行的,且软件都是预装的,所以不存在在不同设备不同软件进行的问题,所以这个警告属于误报。
二、解决办法
该问题的官方解答链接:https://github.com/dusty-nv/jetson-inference/issues/883
“在你第一次运行一个模型之后,TensorRT 的 .engine 文件会被保存到硬盘上,以便在后续运行中更快地加载。当 .engine 文件在后续运行中被加载时,TensorRT 会交叉检查该引擎是否是在你试图运行它的 GPU 上创建的。看来有时,TensorRT 会错误地检测到 .engine 是在不同的 GPU 上创建的,实际上并非如此。你可以忽略这