
tensorRT
丶Shining
深度学习爱好者,深度学习部署优化。
Github:https://github.com/xxradon;
Mail:wangdong_cn@qq.com
展开
-
Deepin/Ubuntu debian系的Linux下更新nvidia显卡驱动(初次安装也可以选择该方案)
首先去NVIDIA的驱动官网下载对应的显卡驱动。因为我之前就安装了nvidia的闭源驱动,所以不用禁用nouveau,使用开源方案的同学需要先禁用nouveau :sudo gedit /etc/modprobe.d/blacklist-nouveau.confdeepin用的是dde桌面,使用的是dedit,ubuntu用的是gedit,之后使用同样的方法可以更新独显驱动,首先修改配置文件:blacklist nouveauoptions nouveau modeset=0重启后使用下面这原创 2020-07-08 16:52:29 · 5868 阅读 · 0 评论 -
pytorch推理时将prelu转成relu实现
很多时候,我们的推理框架如,tensorrt,支持relu实现,但是不支持Prelu。此时我发现了该项目https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT,其中说道:Considering TensorRT don't support PRelu layer, which is widely used in MTCNN, one so...原创 2019-12-16 13:54:44 · 1862 阅读 · 0 评论 -
pytorch1.0,1.0.1-- onnx --tensorRT5.0.2.6的upsample_nearest2d BUG
最近英伟达发布了一个开源项目,https://github.com/NVIDIA/retinanet-examples,查看源码我们发现在RetinaNet/model.py 中将将pytorch的pth模型转化为onnx时,代码中有这样一段代码: import torch.onnx.symbolic # Override Upsample's ONNX expo...原创 2019-03-25 19:03:00 · 3420 阅读 · 1 评论 -
pytorch C++ API 与TensorRT的冲突
2019.3.26TensorRT的例子中,用到的公共头文件common.h,// 如果使用CHECK,会跟pytorch中的源码冲突#define CHECK(status) \ do \ { ...原创 2019-03-26 17:24:49 · 1154 阅读 · 0 评论 -
Tegra Nano上手
手记公司直接预定了tegra nano,昨天晚上拿到货了,跃跃欲试,一查文档,5V,2A,还是micro usb接口,直接用手机的充电器连上,结果点亮打印几行输出,就挂了。。。各种查原因,各种找电源试,最后确定了解决方案。首先说一下nano的电源模式:Power Management for Jetson Nano DevicesThe NVIDIA® Jetson Nano™ syste...原创 2019-03-28 10:39:36 · 1279 阅读 · 1 评论 -
ONNX-Tensorrt如何注册自己的Op
前言在NVIDIA开源项目中,onnx-tensorrt,版本是v5.0,目前TX2的18.04系统Cuda10,Tensorrt5.0.26目前只支持到这个版本。我们可以看到tensorrt是如何将ONNX的模型转化为tensorrt支持的序列化模型。源码中我们可以看到有4个Op:Split,FancyActivation,InstanceNormalization,ResizeNeares...原创 2019-07-06 17:35:55 · 4065 阅读 · 7 评论 -
TensorRT下FP32转INT8的过程
作者:Tiso-yan来源:优快云原文:https://blog.youkuaiyun.com/qq_32043199/article/details/811193571. 关于TensorRT NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎,用于在生产环境中部署深度学习应用程序,应用有图像分类、分割和目标检测等,可提供最大的推理吞吐量和效率。TensorRT是...转载 2019-07-12 14:49:15 · 3114 阅读 · 1 评论 -
TX2 /Nano 升级cuda和cudnn相关库---相同的系统下
tx2和tegra nano的库升级,前提条件,升级前后系统版本一致。目前版本是18.04在TX2或者nano上,删除掉cuda和cudnn相关库,以免冲突;sudo apt-get autoremove cuda-toolkit-10-0 libcudnn7-dev libopencv-dev libnvinfer-dev libvisio*将使用SDK manager下载好的TX...原创 2019-07-22 16:43:55 · 2774 阅读 · 1 评论 -
一步一步解读神经网络编译器TVM(一)
转自:https://oldpan.me/archives/the-first-step-towards-tvm-1 深表感谢前言这是一个TVM教程系列,计划从TVM的使用说明,再到TVM的内部源码,为大家大致解析一下TVM的基本工作原理。因为TVM的中文资料比较少,也希望贡献一下自己的力量,如有描述方面的错误,请及时指出。那啥是TVM?《一步一步解读神经网络编译器TVM(一)——一个...转载 2019-08-01 17:49:24 · 4524 阅读 · 0 评论