onnx-＞tensorRT模型转换错误集

原创已于 2023-01-04 15:10:10 修改 · 2.1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#tensorRT部署模型 #onnx转换tensorRT

于 2023-01-04 15:05:12 首次发布

tensorRT部署模型专栏收录该内容

1 篇文章

订阅专栏

在尝试将ONNX模型转换为TensorRT时遇到错误，具体是调用tensorrt.tensorrt.ICudaEngine的deserialize_cuda_engine()函数时参数不匹配。错误指出提供的参数类型不正确，期望的是一个Runtime对象和一个序列化的引擎缓冲区。问题可能源于模型大小超过内存限制，导致设置的内存池限制过小。

部署运行你感兴趣的模型镜像

onnx->tensorRT模型转换错误集

1.tensorrt.tensorrt.ICudaEngine

TypeError: deserialize_cuda_engine(): incompatible function arguments. The following argument types are supported:
   1. (self: tensorrt.tensorrt.Runtime, serialized_engine: buffer) -> tensorrt.tensorrt.ICudaEngine

Invoked with: <tensorrt.tensorrt.Runtime object at 0x7feecb3c6530>, None

函数定位：set_memory_pool_limit ->原因：模型太大，设置限制的值过小
config.set_memory_pool_limit(trt.MemoryPoolType.WORKSPACE, 4096*(1 << 20))
设置最大工作空间大小，层实现需要一个临时工作空间，并且此参数限制了网络中任何层可以使用的最大大小；
当提供的工作空间不足，TensorRT 可能无法找到层的实现；

您可能感兴趣的与本文相关的镜像