开源架构
关注
分享
扫一扫
文章平均质量分 81
永恒_一瞬
欣之所遇，快然自足；所之既倦，感慨系之
展开
-
TensorRT学习（三）通过自定义层扩展TensorRT
本文源于学习TensorRT文档《TensorRT-Developer-Guide》第4章“EXTENDING TENSORRT WITH CUSTOM LAYERS”的理解。通过C++API添加自定义层 自定义层添加是通过扩展IPluginV2Ext和IPluginCreator类来实现：IPluginV2Ext：IPluginV2的升级版，实现自定义插件的基类，包含版本化和对其它...原创 2019-10-21 18:34:45 · 6117 阅读 · 1 评论 -
Pytorch转TensorRT中的坑
Pytorch转ONNX再转TensorRT，其中遇到一些转的时候会出现的层需要修改的问题，这里对修改的层做一些总结。reshape Pytorch中会有很多需要reshape的操作，可用的算子有：reshapeviewflatten 前两个都是需要指定reshape后完整的尺寸大小，因此使用中需要先获取输入数据的维度，这个在Pytorch框架下使用没有问题，但用到Tens...原创 2020-03-26 16:44:03 · 21939 阅读 · 11 评论 -
TensorRT学习（二）通过C++使用
本文源于学习TensorRT文档《TensorRT-Developer-Guide》第2章“WORKING WITH TENSORRT USING THE C++ API”的理解。一、TensorRT实例化对象 使用TensorRT进行推理需要创建的对象：IExecutionContext，用于推理的对象，通过ICudaEngine对象获取；ICudaEngine，TensorR...原创 2019-08-01 11:18:22 · 13828 阅读 · 11 评论 -
TensorRT+ int8官方论坛中有趣的讨论总结
最近学习通过NVIDIA的显卡进行TensorRT加速及int8校准，遇到很多问题，准备认真学习下。关于int8校准的理论在论坛上已有很多介绍，这里对官方论坛中感觉有趣的讨论记录一下，便于后期翻阅。1、自定义层的int8优化 TensorRT INT8 plugin layer About use int8 model! 官方开发人员只说了支持4种格式，未来会加入更多特性，没说能...原创 2019-06-18 18:30:27 · 4873 阅读 · 25 评论 -
mmdnn命令说明
Caffe转mxnet模型——mmdnn中提到了使用mmdnn对模型进行转换，当时对转换的命令不是很清楚，最近重新查了一些，整理下mmdnn的转换命令。一步转换 mmdnn的一步转换命令是mmconvert，源于mmdnn/conversion/_script/convert.py，其参数为：命令含义-sf输入模型类型-in输入模型网络（如果网络文件独立）...原创 2019-05-29 18:40:12 · 5232 阅读 · 8 评论 -
MXNET部署TensorRT检查OP是否存在
MXNET模型进行部署时可以使用TensorRT，其过程通常为将MXNET模型转换为ONNX，再通过TensorRT的ONNX解释器转换为TensorRT的序列化文件。但此过程中，MXNET的OP不一定可以转换为ONNX的结果，而ONNX的OP也只有部分可以在TensorRT中实现。TensorRT支持操作 可参照TensorRT官方文档，这里面除了介绍支持的OP操作外，还有关于支持的平...原创 2019-05-30 10:21:18 · 1319 阅读 · 1 评论 -
TensorRT学习（一）文档理解
参考来源高性能深度学习支持引擎实战——TensorRT 本文源于对云栖社区该博文的理解，算是总结下TensorRT是什么。TensorRT解释 从TensorRT这个名字上开始解释，一般一维数组叫做Vector（即向量），二维数组叫做Matrix，再高纬度的就叫Tensor，Matrix其实是二维的Tensor。在TensorRT中，所有的数据都被组成最高四维的数组，如果对应到CNN中...原创 2019-03-27 14:44:51 · 2645 阅读 · 10 评论 -
创建Gstreamer插件
参考链接一步一步创建GStreamer插件(ZZ) 配置步骤 步骤基本与《一步一步创建GStreamer插件(ZZ) 》中所描述的相同，这里做简要整理1、获取创建插件的模板gst-template 如果没有安装git，则首先安装git: sudo apt-get install git-core 再获取模板： git clone git://anongit.freedes...原创 2019-03-19 09:58:55 · 874 阅读 · 0 评论 -
GStreamer+win10+vs2015配置
参考链接windows 上vs2017配置gstreamer的开发环境GStreamer - On Windows配置步骤 1、下载文件，runtime和SDK包https://gstreamer.freedesktop.org/data/pkg/windows/ 在该目录下下载自己需要的版本，一般下载最新版本，下载文件主要区分mingw和msvc，后者是默认的编译器，另外deve...原创 2019-03-12 14:48:26 · 4046 阅读 · 0 评论 -
Mxnet使用TensorRT加速模型 —— Mxnet官方例子
官方示例链接 Optimizing Deep Learning Computation Graphs with TensorRT 本文档代码来源于mxnet官方网站翻译，添加自己运行情况。NVIDIA的TensorRT是用于加速网络推理的深度学习库，Mxnet的1.3.0版本开始试验性质的支持TensorRT，这意味着Mxnet的用户现在可以用加速库高效的运行他们的网络。安装Tensor...原创 2019-03-20 12:01:06 · 4199 阅读 · 1 评论 -
Caffe转mxnet模型——mxnet工具
转换步骤参考链接：Mxnet学习系列4----Caffe模型转换成Mxnet模型 Windows环境下转换工具的使用基本和这个博客说明相同，过程总结为： 1、下载mxnet源码（使用mxnet/tools/caffe_ converter文件夹下相关工具） 2、安装protobuf，是否安装及安装版本号可以看使用的python目录下Lib/site-packages/prot...原创 2018-12-21 10:03:10 · 1795 阅读 · 0 评论 -
Caffe转mxnet模型——mmdnn
mmdnn支持的模型转换类型最多，它先是将模型转换到IR，再转换到目标框架。转换步骤 1、确保环境安装，如mxnet和caffe，由于caffe停止更新，目前很难找到cuda9的安装方法，因此安装cpu版本仅用于模型转换。参考方法： windows10+python3.5下同时安装caffe和tensorflow 如果是使用python2.7或者作者依赖库有更新，可以尝试 ...原创 2018-12-21 18:17:02 · 1459 阅读 · 0 评论 -
mxnet代码理解——MXAPIPredictor结构体
MXAPIPredictor结构体在 c_predict_api .cc中定义:// predictor interfacestruct MXAPIPredictor { std::vector<NDArray> out_arrays; // output arrays std::vector<NDArray> arg_arrays; // argum...原创 2018-11-23 14:48:02 · 696 阅读 · 0 评论 -
mxnet代码理解 —— c_predict_api
c_predict_api MXAPIPredictor结构体:// predictor interfacestruct MXAPIPredictor { std::vector<NDArray> out_arrays; // output arrays std::vector<NDArray> arg_arrays; // argument a...原创 2018-11-23 14:46:44 · 1660 阅读 · 0 评论 -
mxnet代码理解 —— SyncCopyFromCPU
SyncCopyFromCPU、SyncCopyToCPU SyncCopyFromCPU从内存连续区域同步拷贝数据，会在拷贝前调用WaitToWrite，直到当前NDArray的所有读/写操作都完成后可执行写入操作。void NDArray::SyncCopyFromCPU(const void *data, size_t size) const { TShape dshape ...原创 2018-11-23 17:36:58 · 1390 阅读 · 3 评论