ONNX推理warning： TensorRT does not natively support INT64. Attempting to cast down to INT32.

最新推荐文章于 2024-09-11 10:09:54 发布
最新推荐文章于 2024-09-11 10:09:54 发布
阅读量212 收藏
点赞数 1
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40387714/article/details/141729749
版权

只想用ONNX进行模型推理，加载时报Warning，加载模型时间也特别长。

加载模型的代码：

self.session = onnxruntime.InferenceSession(model_path, providers=onnxruntime.get_available_providers())

修改为：

self.session = onnxruntime.InferenceSession(model_path, providers=['CUDAExecutionProvider', 'CPUExecutionProvider'])

paradoxjun
关注
基于 TensorRT 使用 python 进行推理优化， 以YOLOv5 为例
shiter编写程序的艺术
04-21 959
TensorRT是NVIDIA推出的一个高性能的深度学习推理框架，可以让深度学习模型在NVIDIA GPU上实现低延迟，高吞吐量的部署。TensorRT支持Caffe，TensorFlow，Mxnet，Pytorch等主流深度学习框架的部署。TensorRT底层为C++库，NVIDIA为其提供了C++ API和Python API，主要在NVIDIA GPU以实现高性能的推理(Inference)加速。
19、Jetson Xavier NX使用yolov5对比GPU模型下的pt、onnx、engine 、 DeepStream 加速性能
sxj731533730
11-13 9416
基本思想：手中有块Jetson Xavier NX开发板，难得对比一下yolov5在相同模型下，不同形式下的加速性能 在这篇文章的环境基础上24、Jetson Xavier Nx使用Centerface+Arcface进行人脸识别、认证、比对_sxj731533730-优快云博客进行如下实验 一、下载yolov5(tag6)代码(开发板) nvidia@nvidia-desktop:~$ git clone https://github.com/ultralytics/yolov5.git 使用
onnx 模型 转换成 TensorRT 模型 时, INT64 cast down to INT32 问题
tyq64的博客
06-18 1887
onnx 模型 转换成 TensorRT 模型 时, INT64 cast down to INT32 问题
解决TensorRT does not natively support INT64的问题记录
hlld__的博客
01-19 9870
问题描述 在对使用PyTorch导出的onnx模型进行TensorRT解析时出现：Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.的错误。 解决方法 在网上有找到解决方案把onnx模型转TensorRT模型的trt模型报错，但由于机器上安装的onnx版本是1.8.0，pytorch版本是
onnx | 把onnx模型转trt报错：Your ONNX model has been generated with INT64 weights. while TensorRT
Mopes__的博客
03-25 2837
onnx | 把onnx模型转trt报错：Your ONNX model has been generated with INT64 weights. while TensorRT
ONNX权重类型转换 INT64 to INT32
豆芽菜
05-05 7536
使用TensorRT转换ONNX模型时，提示模型包含INT64变量，其不影响模型转换。如果想消除该提示，可以将INT64变量转为INT32即可。转换可使用：aadhithya/onnx-typecast: Script to typecast ONNX model parameters from INT64 to INT32. (github.com) onnx-typecast A simple python script to typecast ONNX model paramete...
yolov5模型转换为TensorRT模型时报错Your ONNX model has been generated with INT64 weights
liguiyuan的博客
03-14 4267
因为我们的onnx模型参数类型是INT64, 然后TensorRT是不支持 INT64的。这就需要我们先把ONNX模型的精度降到 INT32，然后再进行转换为 TensorRT模型。
onnx-simplifier 模型简化中报错处理
yyc1820252161的博客
04-18 2471
报错1：Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32 报错2：RuntimeError: The shape of input "input_1" has dynamic size "[0, 0, 0, 3]"
onnx模型转TensorRT模型时出错
weixin_48192326的博客
06-08 1555
【代码】把onnx模型转TensorRT模型出错。
ONNX Typecaster: 一键转换ONNX模型数据类型指南
gitblog_00331的博客
09-11 696
ONNX Typecaster: 一键转换ONNX模型数据类型指南 onnx-typecast Script to typecast ONNX model parameters from INT64 to INT32. 项目地址:...
TensorRT4.0指南
04-06
Tensorrt 4.0 release user guide techniques developer use
推荐开源宝藏：onnx-typecast，打通ONNX模型的INT64到INT32转换之路
最新发布
gitblog_00726的博客
09-11 488
推荐开源宝藏：onnx-typecast，打通ONNX模型的INT64到INT32转换之路 onnx-typecast Script to typecast ONNX model parameters from INT64 to INT32. ...
onnx转tensorrt中的问题记录
qq_44849479的博客
09-22 1524
onnx转tensorrt
tensorrt的部署和问题
weixin_42476942的博客
02-08 4086
tensorrt的部署和问题 1.pth模型文件转换为onnx,onnx转换为trt出现报错 报错：ERROR: Failed to parse the ONNX file. parser.get_error(error) In node 29 (convert_axis): UNSUPPORTED_NODE: Assertion failed: axis >= 0 && axis < nbDims 此处node 29定位问题的方法，需要onnx模型可视化，直接调用netron
TensorRT-优化-原理
吴建明wujianming_110117
05-28 1831
TensorRT-优化-原理 一．优化方式 TentsorRT 优化方式： TensorRT优化方法主要有以下几种方式，最主要的是前面两种。 层间融合或张量融合（Layer & Tensor Fusion） 如下图左侧是GoogLeNetInception模块的计算图。这个结构中有很多层，在部署模型推理时，这每一层的运算操作都是由GPU完成的，但实际上是GPU通过启动不同的CUDA（Compute unified device architecture）核心来完成计算的，CUDA核心计算张量的速度
利用TensorRT实现神经网络提速(读取ONNX模型并运行)
热门推荐
老潘的博客
01-23 2万+
关于本文章的最新更新请查看:oldpan博客 前言 这篇文章接着上一篇继续讲解如何具体使用TensorRT。 在之前已经写到过一篇去介绍什么是TensorRT：利用TensorRT对深度学习进行加速，这篇文章中大概已经基本讨论了TensorRT究竟是个什么东西以及怎么使用它。 而在这篇文章中我们主要介绍如何使用它在我们的实际任务中进行加速。 在我这里的实验结论表明，在FP32的精度下，使用Tens...
jetpack4.5.1使用tensorrt加速模型
m0_59249795的博客
04-23 3308
本文使用的是jetpack4.5.1，之所以没有使用最新的jetpack4.6，4.6.1是因为4.6以上版本中包含的tensorrt>=8，其中的函数接口都与tensorrt7有所不同，网上资料较少不方便实践，但是tensorrt8的加速效果要比7强很多，jetpack7除了tensorrt以外其他的都没什么不同 TensorRT TensorRT is a high performance deep learning inference runtime for image classificat
onnx模型图优化/模型修改
LuchangLi 的专栏
09-15 1万+
onnx模型修改、添加Node 如何修改已有的ONNX模型 - 知乎 ONNX内部节点修改方法_麦克斯韦恶魔的博客-优快云博客 onnx模型如何增加或者去除里面node，即修改图方法_The space of Shining-优快云博客
[TRT] [W] onnx2trt_utils.cpp:375: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32. [TRT] [W] onnx2trt_utils.cpp:403: One or more weights outside the range of INT32 was clamped [TRT] [W] input "images" with shape: (1, 3, 640, 640) dtype: DataType.FLOAT [TRT] [W] output "outputs" with shape: (1, 1) dtype: DataType.INT32 [TRT] [W] output "proto" with shape: (1, 100, 4) dtype: DataType.FLOAT [TRT] [W] output "461" with shape: (1, 100) dtype: DataType.FLOAT [TRT] [W] output "462" with shape: (1, 100) dtype: DataType.INT32
07-16
这些警告信息是由TensorRT引擎生成的。第一条警告表示您的ONNX模型使用了INT64类型的权重，而TensorRT不原生支持INT64类型。因此，TensorRT会尝试将权重转换为INT32类型。 第二条警告表示一些权重值超出了INT32类型的范围，因此TensorRT会对这些值进行截断。 接下来的几条警告描述了输入和输出的名称、形状和数据类型。例如，输入名称为"images"，形状为(1, 3, 640, 640)，数据类型为FLOAT。输出名称为"outputs"，形状为(1, 1)，数据类型为INT32。还有一些其他输出的详细信息。 这些警告信息通常是为了提醒您模型在TensorRT中的转换过程中可能遇到的问题，但并不一定表示存在错误。如果您的模型能够正常运行并产生预期的结果，可以忽略这些警告信息。如果您遇到了问题，可以进一步检查模型的输入、输出设置以及权重数值范围等方面是否正确。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值