老潘的博客

部署应该学什么，这里都总结了

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定**，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。> 本系列讲解的版本也是基于22.06。

好久不见各位~这篇文章很久之前写完一直没有整理，最近终于是整理差不多了，赶紧发出来。本文接着《必看部署系列-神经网络量化教程：第一讲！》这一篇接着来说。上一篇主要说了量化的一些基本知识、为啥要量化以及基本的对称量化这些概念知识点。按理说应该继续讲下非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节，就趁这次机会讲一下。算是量化番外篇。这是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量

开篇老潘刚开始接触神经网络量化是2年前那会，用NCNN和TVM在树莓派上部署一个简单的SSD网络。那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。这是那会的一篇文章，略显稚嫩哈哈：一步一步解读神经网络编译器TVM(二)——利用TVM完成C++端的部署转眼间过了这么久啦，神经网络量化应用已经完全实现大面积落地了、相比之前成熟多了！我工作的时候虽然也简单接

不得不相信英伟达总能给我们惊喜，老潘作为一名深度学习从业者以及游戏爱好者，对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达，我们自然熟悉的不能再熟悉了。英伟达的硬件足够优秀，但也需要足够的软件开发者去支撑才能真正的令其发展起来，对此英伟达是“上心的”。因为毕竟只有大家都用、大家都觉着好用、你也觉着好用，你才会用英伟达的产品，才会用它的GPU去做一些你感兴趣的事情(当然英伟达就可以卖钱啦)。这也就是生态。其实用了比较长时间英伟达的产品(显卡、嵌入式版本系

首发于TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！，最新回复以及交流请看这里~前言大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。作为在英伟达自家GPU上的推理库，这些年来一直被大力推广，更新也非常频繁，issue反馈也挺及时，社区的负责人员也很积极，简直不要太NICE。只是TensorRT的入门门槛略微高一点点，劝退了一部分玩家。一部分原因是官方文档也不够详细(其实也挺细了，只不过看起来有些杂乱)、资料不够；另一部分可能是因为TensorRT比较底层，需

问题的开始前些天尝试使用TensorRT转换一个模型，模型用TensorFlow训练，包含LSTM+Transform+CNN，是一个典型的时序结构模型，包含编码解码结构，暂称为debug.onnx吧。这个debug.onnx使用tf2onnx导出，导出后tf2onnx会自动对这个onnx做一些优化，例如常量折叠、算子融合等等一些常规操作，一般来说这些操作不会影响网络结构(也会出现影响的情况！之后老潘会说)，而且有助于模型的优化。然后导出来之后使用onnxruntime简单测试一下导出模型是否正确，是

小博主拍了拍你的脑袋发了一个神秘链接：oldpan.me本系列为新TensorRT的第一篇，为什么叫新，因为之前已经写了两篇关于TensorRT的文章，是关于TensorRT-5.0版本的。好久没写关于TensorRT的文章了，所幸就以新来开头吧~接下来将要讲解的TensorRT，将会是基于7.0版本。7版本开头的TensorRT变化还是挺大的，增加了很多新特性，但是TensorRT的核心运作方式还是没有什么变化的，关于TensorRT的介绍可以看之前写的这两篇：利用TensorRT对深度学习进行