xh_hit的博客

1.TensorRT简介TensorRT是NVIDIA 推出的一款基于CUDA和cudnn的神经网络推断加速引擎，相比于一般的深度学习框架，在CPU或者GPU模式下其可提供10X乃至100X的加速，极大提高了深度学习模型在边缘设备上的推断速度。将TensorRT应用在NVIDIA 的TX1或者TX2上，可实现深度学习网络的时时推荐，且不需在内存较少的嵌入式设备上部署任何深度学习框架。2.T...

TensorRT可实现深度学习网络数倍的加速，特别是在嵌入式设备TX2上。TensorRT引擎和加速原理简介请查看https://blog.youkuaiyun.com/xh_hit/article/details/79769599。本文以caffe模型为例对其推断过程进行分析。整体推断过程分为build、serialize、deserialize和run四个阶段。首先是build和序列化阶段代码如下：...

在上一篇博客中分析了tensorRT在加速caffe推断时的主要路程，其中序列化和反序列化是必不可少的。序列化时根据输入网络的prototxt和训练好的模型参数，对网络进行解析和参数保存，主要函数为：// serialize the engine, then close everything down gieModelStream = engine->serialize();反序...