deep_love1314的博客

介绍一下libtorch多线程的问题

forward函数的输出，根据原始tracing的网络输出，对输出进行类别转换。这个函数在高版本上无法进行列表接收了。

环境：python==3.10，torchvision==0.12.0+cu113 onnx==1.12.0 onnxruntime==1.13.1我们在mobilesam工程（sam工程一样的）导出onnx的时候默认出现：”ValueError: Unsupported ONNX opset version: 16“然后我们就按照一些资料，将opset降低到使用13，结果还是不行：”repeat_interleavefor idx, r_split in enumerate(r_splits):

out-of-place只是分配新对象并保留对旧计算图的引用，而in-place操作则需要将所有输入的创建更改为代表此操作的函数。out-of-place只是分配新对象并保留对旧计算图的引用，而 in-place 操作则需要将所有输入的创建更改为代表此操作的函数。这就是为什么我建议使用 PyTorch 标准的in-place 操作(如上面的in-place ReLU) ，而不是手动实现。就地操作：是直接更改给定Tensor的内容而不进行复制的操作，即不会为变量分配新的内存（不分配新的对象）。

使用TensorRT的一些没注意到的坑

关于询问trt推理部分bug

yolov8之导出onnx

yolov8导出onnx

windows10配置openvino

trt

yolov5量化注意事项（二）

yolov5量化注意事项

yolov5-seg（实例分割）的tensorRT部署

yolov5-seg的ort部署

onnx

torchscript相关知识介绍（二）

torchscript相关知识介绍

关于trt 中的setworkspace函数的作用

查询trt 计划文件

trt 插件实战

trt oss编译安装

onnx、yolov7

该转载涉及yolov5的视频检测

编译器优化 -- 常量折叠

retinanet pytorch转换onnx Unsample 问题 pytorch转onnx踩坑日记_贝猫说python的博客-优快云博客

onnx中的where op是pytorch中的什么操作产生的呢？ 试了torch.where 以及 a[mask]等操作 都没有产生。 也没搜到。 想记录学习下 。答案：看下expand （我自己给的答案），我还没有验证

问：想跟您请教下torch.randperm这个算子转onnx不支持应该怎么实现？ 答复：可以先用 ONNX_FALLTHROUGH转成onnx，然后再给TensorRT写个plugin，转出来后也可以用ONNX-graphsurgeon把这个node展开成TRT支持的node（如果可以等效替换掉的话）。 注意：好像没法用TRT layer表示randperm：torch.randperm — PyTorch 1.11.0 documentation 有人也给了其他思路，比如：用rand

比如你的模型推理一张图片的时间是50ms，那么计算fps的方式为：1000ms/50ms = 20fps注意：一定要使用ms单位！