TensorRt - caffe中支持prelu

最新推荐文章于 2019-12-17 15:51:27 发布
最新推荐文章于 2019-12-17 15:51:27 发布
阅读量2.9k 收藏 9
点赞数 1
CC 4.0 BY-SA版权
分类专栏： tensorrt 文章标签： prelu tensorrt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_35759574/article/details/88415101

好久没写博客了，今天就更新一下。

我们都知道TensorRT的激活层，支持relu，却不支持prelu。但是总有需要使用prelu层的时候。

补充： prelu层 相当于是带参数的relu

运行环境： ubuntu16.04+ TenosrRt 4.0.1以上 + cuda 8.0/cuda9.0 + Cudnn 7.1 + opencv3

一、下载

 先去github下载tensorrt-prelu的相关文件

并拷贝到我们的工程目录的源文件目录下

二、将Gplugin.cu重命名为GpluginGPU.cu

否则编译会出错

三、在GpluginGPU.h中 217行中DataType改为nvinfer1：：DataType

 即

改为

四、添加prelu

最低0.47元/天 解锁文章

200万优质内容无限畅学
TensorRT：NvinferPlugin.h
微风❤水墨
08-18 1031
版本：5.1.5.0 include NvInfer.h NvInferPlugin.h NvCaffeParser.h NvOnnxConfig.h NvOnnxParser.h NvOnnxParserRuntime.h NvUffParser.h NvUtils.h 说明：红色标记的：NvInfer.h， NvInferPlugin.h, NvUtils.h是公用的。其他用来支持:Caffe, Onnx和Uff(tensorflow) 功能：Nvidia官方提供的
tensorrt 分割_TensorRT 5 开发者手册 中文版 使用深度学习框架（三-6）
weixin_39571219的博客
12-21 522
NVIDIA TensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。TensorRT是第一款可编程推理加速器，能加速现有和未来的网络架构。本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来，主要作为备忘所用，分享出来以供更多开发者使用。TensorRT Develope...
TensorRT的Prelu层
10-17
主要是加入到TebsorRT的Prelu层，用于模型加速，适用于含有Prelu的网络结构;
[Caffe]:关于ReLU、LeakyReLU 、PReLU layer
热门推荐
cham_3
02-20 4万+
ReLU、LeakyReLUReLU作为激活函数被广泛应用于各种深度神经网络中。在这篇博客中，我主要记录一下它和它的变种在caffe中的实现。 先看下来自wikipedia的一张示意图，图中蓝色的线表示的就是ReLU函数。 ReLU激活函数极为f(x)=max(0,x) f(x)=\max(0,x)。而LeakyReLU则是其变体f(x)=max(0,x)+negative_slope×mi
TensorRT5.1.6加速PReLU
BokyLiu的博客
12-17 936
nvidia迟迟不更行 终端上的TensorRT，没办法，只能自己注册了。 拜读了几位大佬的blogTensorRT5.1.5.0 实践 onnx-TensorRT的自定义op，看到builtin_op_importers.cpp的理解那里有点不理解，为什么input[0], input[1], input[2]分别代表conv输入的tensor、weight和bias。后来想到看看onnx图： ...
Caffe/Pytorch转为TensorRT 4.0的示例代码
10-25
这个代码是安装TensorRT 4.0后自带的，功能也有限，所以自己在目录中搜索一下就能看到。所以先自己找找，找不到再下载。有些人可能不知道有这样的范例，工作碰上很麻烦。所以这里就打包上传。
pytorch推理时将prelu转成relu实现
The space of Shining
12-16 1891
很多时候，我们的推理框架如，tensorrt，支持relu实现，但是不支持Prelu。此时我发现了该项目https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT，其中说道: Considering TensorRT don't support PRelu layer, which is widely used in MTCNN, one so...
Jetson TX1 开发教程（4）--TensorRT加速Caffe初探
Jesse_Mx的博客
02-20 1万+
项目地址：NVIDIA TensorRT前言TensorRT（GIE）是一个C++库，适用于Jetson TX1和Pascal架构的显卡（Tesla P100, K80, M4 and Titan X等），支持fp16特性，也就是半精度运算。由于采用了“精度换速度”的策略，在精度无明显下降的同时，其对inference的加速很明显，往往可以有一倍的性能提升，而且还支持使用caffe模型。目前网上关于
TensorRT 5 开发者手册 中文版 使用深度学习框架（三-6）
Mars_WH的专栏
11-28 9518
原创作品，转载时请务必以超链接形式标明文章原始出处: http://www.dapalm.com/?p=206,作者：大数据，怕了么? 　　本手册为TensorRT 4.0.1.6 GA版英文手册翻译而来，主要作为备忘所用，分享出来以供更多开发者使用。TensorRT Developer Guide手册一共分为四个章节，主要内容在第二、三章，看懂这两章，写代码够用了。第一章为TensorRT综述，...
tensorRT实现神经网络推理加速
05-10
使用tensorRT的API接口一行行代码实现整个工程，包括int8精度和自定义层及各种常用算法的tensorRT的写法。
Nvidia TensorRT官方API文档
02-20
Nvidia TensorRT官方API文档，离线使用。
支持多层输出的TensorRT
10-17
这个demo是支持多层输出网络结构的TensorRT接口，原始资源来源于github，相应链接找不到了，不好意思;
TensorRT推理加速
05-07
TensorRT Python API的使用，8bits量化，语义分割方面的应用。
caffe模型转tensorflow模型
06-20
该文档描述了如何将caffe生成的模型转换为tensorflow的模型，其中用到了几个开源工具，非常好用
caffe——配置训练文件
coco的博客
09-17 499
以GoogLeNet模型为例子说明配置train_val.prototxt训练文件： 模块化结构图：从下往上看 需要用到的caffe.proto文件地址在：caffe-windows\src\caffe\proto可查看。 GoogLeNet网络结构明细表解析如下：0、输入 原始输入图像为224x224x3，且都进行了零均值化的预处理操作（图像每个像素减去均值）。1、第一层...
caffe 最新的层都有哪些呢？
wangzhebupt的专栏
04-13 4938
caffe不断地更新，最近又加入了prelu这种很好的功能~详见 http://research.microsoft.com/en-us/um/people/kahe/ http://arxiv.org/abs/1502.01852 更新之后每层的设置从layers变为layer，现有的层有 AbsVal,Accuracy,ArgMax,BNLL,Concat,Contra
分别使用 TensorRT 和 CUDA 加速 MTCNN
ShaderJoy 的兴趣技术杂货铺
02-13 7324
Github 现有的 TensorRT 加速的 MTCNN 【PKUZHOU/MTCNN_FaceDetection_TensorRT】不是基于插件的，而是走了使用 scale和 ReLU 、eltwise-sum 层 “曲线救国”的路线—— PKUZHOU 认为 PReLU 会破坏 TensorRT 的 CBR 优化，但实际上实现 PReLU 插件以后耗时更少，如图 左侧是“曲线救...
使用TensorRT遇到的问题
猫猫与橙子的博客
12-19 6514
1.TensorRT内存泄漏问题 最近遇到一个bug,TensorRT4.0.4没有办法进行内存释放,这个官网也有提到,大意就是调用destory函数(内存销毁的函数),一片内存会被释放两次,然后代码就崩溃了.这个参考文献在这里: (注意:bug产生的条件就是不停调用TensorRT,对其进行初始化,初始化结束后再销毁,反复操作,就能看到相应的内存泄漏) 问题描述:error tensorR...
Caffe: 贾扬清2015年讲座
jiandanjinxin的专栏
01-10 1575
链接: http://pan.baidu.com/s/1jIRJ6mU  提取密码：xehi 一、讲座正文 大家好！我是贾扬清，目前在GoogleBrain，今天有幸受邀来和大家聊聊Caffe。没有太多准备，所以讲的不好的地方还请大家谅解。 大家最近一段时间应该已经听到很多关于deep learning的八卦了。deep learning比较流行的一个原因，主要是因为它能够
TensorRT和TensorRT-YOLO的作用
最新发布
07-29
<think>嗯，用户想了解TensorRT和TensorRT-YOLO的功能和作用。从引用内容看，用户可能正在Jetson Nano这类边缘设备上部署YOLO模型，需要高效推理方案。 用户提供的引用很有价值，特别是提到TensorRT-YOLO 6.0的多Context共享引擎机制，这个创新点值得重点说明。用户可能更关注实际部署效果而非理论，需要强调性能数据。 关于TensorRT部分，应该从三个层面说明：1) 作为推理引擎的本质 2) 核心优化技术（量化/层融合）3) 硬件适配优势。引用[1]提到Nano上不用TensorRT时yolov3 tiny仅8fps，而官网称可达25fps，这个对比很直观。 对于TensorRT-YOLO，要突出其“专用适配器”的定位。引用[3]展示的导出命令python export.py -o yolov10n.onnx -e yolov10.trt很典型，说明其简化了ONNX到TensorRT引擎的转换流程。引用[4]的显存占用对比表格更是有力佐证，当4个模型实例时显存节省达46.3%，这个数据必须呈现。 注意到引用[2][4]都提到多路视频流处理优势，用户可能有视频分析需求，相关应用场景要单列。另外需澄清TensorRT-YOLO不是独立框架，而是基于TensorRT的优化工具链，避免概念混淆。 最后生成的问题要有递进性：从基础原理到部署实操，再到性能调优，覆盖用户可能的后续需求。特别是INT8量化问题，引用[3]提到对比fp16，但未展开，这往往是边缘设备的关键优化点。</think>以下是关于**TensorRT**和**TensorRT-YOLO**的功能与作用的详细介绍： --- ### **一、TensorRT 的功能与作用** **TensorRT** 是 NVIDIA 推出的高性能深度学习推理（Inference）引擎，核心目标是为生产环境中的深度学习模型提供**极致优化**和**低延迟推理**。 #### 核心功能： 1. **模型优化** - **层融合（Layer Fusion）**：合并多个操作（如卷积+激活函数）为单一内核，减少计算量和内存访问次数。 - **精度校准**：支持 FP32/FP16/INT8 量化，通过降低精度换取显著加速（INT8 可提速 2-3 倍）[^3][^4]。 - **内核自动调优**：根据 GPU 架构选择最优计算内核。 2. **硬件加速** - 最大化利用 NVIDIA GPU 的 Tensor Core 并行计算能力，显著提升吞吐量（如 Jetson Nano 上 YOLOv3 从 `<1 FPS` → `25 FPS`）[^1]。 3. **部署支持** - 支持 Caffe、TensorFlow、PyTorch（需转 ONNX）等框架导出的模型[^1][^3]。 - 生成轻量级推理引擎（`.engine` 文件），可直接集成到 C++/Python 应用。 --- ### **二、TensorRT-YOLO 的功能与作用** **TensorRT-YOLO** 是基于 TensorRT 的 **YOLO 系列模型专用优化工具**，解决目标检测模型在边缘设备（如 Jetson Nano）的部署难题。 #### 核心优势： 1. **多 Context 共享引擎（TensorRT-YOLO 6.0+）** - **权重共享**：多个推理线程共享同一份模型权重，显存占用降低高达 **46.3%**（4 实例时）[^4]。 - **并发推理优化**：支持多路视频流并行处理，适合实时监控场景[^2][^4]。 - 显存优化对比： | 模型实例数 | 克隆模式显存 | 原生模式显存 | 节省率 | |------------|--------------|--------------|--------| | 1 | 408 MB | 408 MB | - | | 2 | 536 MB | 716 MB | 25.1% | | 3 | 662 MB | 1092 MB | 39.4% | | 4 | 790 MB | 1470 MB | 46.3% | [^4] 2. **端到端部署简化** - 提供一键式模型转换脚本（如 `python export.py`），将 YOLO 模型（如 YOLOv10）从 ONNX 转为 TensorRT 引擎[^3]。 - 支持 INT8/FP16 量化校准，平衡精度与速度（如 `--fp16` 参数）[^3]。 3. **边缘设备性能飞跃** - 在 Jetson Nano 上： - YOLOv3 原生：`<1 FPS` → TensorRT-YOLO：`25 FPS`[^1] - YOLOv3-tiny 原生：`<8 FPS` → TensorRT-YOLO：`>30 FPS`[^1] --- ### **三、典型应用场景** 1. **实时视频分析** - 多路摄像头目标检测（交通监控、安防系统）[^4]。 2. **边缘计算设备** - Jetson Nano/NX 等嵌入式平台的 AI 推理[^1][^3]。 3. **大规模数据推理** - 需高吞吐量的服务器级推理任务[^2][^4]。 ---
评论 21
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值