猫猫与橙子的博客

最近在学习TensorRT，遇到一个问题，就是自己写的层中有些参数通过函数没法传入，如Renfindet SSD层需要的NMS阈值和置信度阈值都是写死在里面，无法又外界传入。所以想了个傻办法：将界面传入的参数保存得文本文件中，然后通过读取文本文件的字符串，将阈值使用extern 参数录入detect_out层，进行结果检测；下面的代码是对文本文件进行解析，获取NMS阈值和置信度阈值；fl...

参考demo：https://github.com/PKUZHOU/MTCNN_FaceDetection_TensorRT

TensorRT对face_boxes进行加速:难点:priorbox layer和mobileNet SSD中的priorbox layer实现不太一样了,所以要对这层自己进行实现,当前遇到的报错:问题1:nvinfer1::DimsCHW nvinfer1::getCHW(const nvinfer1::Dims&): Assertion ` d.nbDims >=...

之前做过caffe版本的yolov3加速，然后实际运用到项目上后，发现原始模型在TX2（使用TensorRT加速后，FP16）上运行260ms，进行L1 排序剪枝后原始模型由246.3M压缩到64.8M，但是时间运行只提速到了142ms（目标是提速到100ms以内），很是捉急。最近发现TensorRT5的sampleszhong有yolov3 onnx版本的TensorRT加速（虽然是pyth...

1.TensorRT内存泄漏问题最近遇到一个bug,TensorRT4.0.4没有办法进行内存释放,这个官网也有提到,大意就是调用destory函数(内存销毁的函数),一片内存会被释放两次,然后代码就崩溃了.这个参考文献在这里:(注意:bug产生的条件就是不停调用TensorRT,对其进行初始化,初始化结束后再销毁,反复操作,就能看到相应的内存泄漏)问题描述:error tensorR...

调试TensorRT,小伙伴坑人,在TX2上刷了JetPack,但是却没有安装TensorRT,所以我只能自己再下载一个,操作流程:1)到JetPack官网下载最新的JetPack版本,网址:https://developer.nvidia.com/embedded/jetpack 2)下载下来是一个后缀为.run的文件, 在终端运行(可能需要修改权限,使用命名:chmod 777...

问题描述:使用cmake编译时出现下面的错误:解决方法:参考:https://mp.youkuaiyun.com/postedit/84098336(自己之前遇到过,今天又遇到了);销毁内存失败解决方法:释放内存两种方式:new <--> deletenew [] <--> delete []出错现象:1.执行delete语句时，程序直接弹窗，崩溃。2....

TensorRT加速MobileNet SSD分解为三个问题:1)图像的预处理;2)结果的处理;3)depthwise convolution层的实现;针对1)图像预处理我就不多言了;针对2)结果处理,由于tensorRT中有SSD的detectout插件,所以出来的结果如何处理,也没有什么多说的,结果的个数是100个,for循环就可以了.可以借鉴这个demo:https://...

加速yolov3需要处理三件事情:1)upsample层;2)图像的预处理;3)加速结果的后处理;贴出upsample层的代码:(参考:)/******************************/// Upsample Plugin/******************************///*fuxueping//2018-11-7class Upsa...

最近在验证序列化保存的结果，再次运行是否正确，却出现了一个问题，TensorRT对LeakRelu中的代码无法序列化，琢磨了两天发现是Leak Relu这个插件层有问题。就Lrelu这层的代码而言，非常简单，大家若是不太了解，可以先看看Lrelu的原理公式和caffe源码中的前像计算的代码（注意Lrelu的代码就是relu的代码，只是加了一个参数，值大小一般是0.1.我的代码中是将其参数写死了...

最近在做prototxt文本文件解析:主要参考的代码是:https://github.com/HoboChen/hoboprototxt在这个照虎画猫的过程中,然后就发生了一些错误,记录如下:使用过程中出现的错误:1.error: no matching function for call to ‘std::basic_ifstream<char>::open(const ...

平台：TX2 ，JetPack3.3最近在使用TensorRT封装27层的ResNet，封装过程中遇到以下问题：1.网络结构中的Prelu类型的GPU代码实现;2.在比对网络结构fc5的输出的时候，输出特征参数只有一半是正确，有一般为0;首先分享一下网络结构的改造： 原始网络结构：name: "face_res27net"input: "data"input_di...

今天主要工作是对序列化后的结果进行保存，这部分的工作也是依靠论坛的力量和nvidia官方给予的信息：主要参考的网页如下：https://github.com/dusty-nv/jetson-inference/blob/master/tensorNet.cpp#L244https://devtalk.nvidia.com/default/topic/1030534/jetson-tx2...

最近在对TensorRT接口库进行封装（基于VGG16 - refinedet SSD和yolo V2），但是出现一个很奇怪的问题，就是在执行VGG16-refindet SSD时，大批量跑图时，图片跑一部分后（图片数量是定植，通常跑到1460张图片后就出不来结果了），后面的图片出不来结果，同时相应的运行时间从正常的50ms降到了10几ms至30ms不等。无法找到问题原因，初步猜测有两个原因：...

平台：TX2 JetPack3.3语言： C++ide：Qt遇到的error：参考：https://www.cnblogs.com/octave/p/4824584.htmlhttps://www.cnblogs.com/techiel/p/8035014.html unresolvable R_AARCH64_ADR_PREL_PG_HI21 relocation ag...

本工程基于VGG16 Refindet SSD进行目标检测，在没有使用TensorRT库的时，测试没帧图片所需时间130ms（从读入原始图片到测试出最终的结果）。使用半精度（FP16：float16）每帧图片的测试时间降到50～60ms;使用单精度（FP32：float32）每帧图片给的测试时间降到80～90ms。使用TensorRT提速时如何操作？首先平台支持半精度计算，这个如何判断？...

使用TensorRT对fasterRCNN进行加速，主干网络是googleNet。原始网络结构：tensorrt_sdk{ type: FASTERCNN_GOOGLENET in_put_layer:data out_put_layer:bbox_pred out_put_layer:cls_prob out_put_layer:rois}name: "Goog...