- 博客(2)
- 收藏
- 关注
RSS订阅原创 TensorRT 动态batch推理
将模型文件导出为onnx文件，需要添加dynamic_axes选项，我这里是动态batch，第0维度设置为动态，命名为bs。此外输入输出也需要命名，我这里是输入为input，输出为output，后面要用。发现不是动态batch，想改成动态batch过程中碰到了一些问题，以下为整个流程。导出后可通过可视化平台查看是否有误，将onnx转成trt模型，指令如下。
2024-11-20 20:22:21
544
原创 TensorRT windows环境安装
注：import tensorrt需要在torch前面否则会报错 https://github.com/NVIDIA/TensorRT/issues/3439 区别：第一种方法可以生成C++ API,第二种只存在于python环境中，无法被C++调用，建议第一种
2024-11-12 18:55:31
317
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人