dejahu的博客

在可用的配置选项中，您可以控制TensorRT降低计算精度的能力，控制内存和运行执行速度之间的权衡，并限制CUDA®内核的选择。要在模型级别控制精度，可以使用BuilderFlag选项（C++，Python）向TensorRT指示，在搜索最快速度时，它可以选择较低精度的实现（并且由于较低精度通常更快，如果允许，它通常会这样做）。因此，在构建阶段完成之前，您不得释放这些数组的内存。为了进行更精细的控制，如果某层必须以更高精度运行，因为网络的部分区域对数字敏感或需要高动态范围，则可以为该层指定算术精度。

鉴于Nvidia的在深度学习上已经非常完善，即使有其他的芯片或者是框架，基本思路也都是要借鉴Nvidia的开发的，好比虽然特斯拉网上很多骂声，但是大多数国内的车企还是在发布会上狠狠对比，又好比手机发布会狠狠对比Apple，好的东西总是值得大家去借鉴的，对于小公司而言，使用其他公司的生态框架硬件成本看起来很低，但是由于生态和社区一般，实际上运维起来的成本又很高。所以，希望通过更新这个系列来帮助自己对Nvidia的TensorRT进行一些基础的学习。