TensorRT 2 初探秘 （一）

原创作品，转载时请务必以超链接形式标明文章原始出处:http://www.dapalm.com/?p=116,作者:大数据，怕了么？  

 

一、TensorRT基本概念

    TensorRT（GIE）是一个C++库，适用于Jetson TX1和Pascal架构显卡，支持fp16特性，也就是半精度运算。由于采取“精度换速度”的策略，在精度无明显下降的前提下，其对inference的加速明显，往往有1倍以上的性能提升。

 

二、TensorRT编程流程

    使用TensorRT主要有连个步骤：

         构建阶段：构建一个网络定义（network），执行优化，并生产推理引擎（inference engine）

         执行阶段：引擎运行推理任务（只需要输入/输出buffers），主要是通过 IExecutionContext::execute和 IExecutionContext::enqueue同步或异步执行推理

    目前支持的层(据说更新到TensorRT 2.1将支持自定义层，好消息哦)：

         Convolution: 2D

         Activation: ReLu, tanh and sigmoid

         Pooling: max and average

         ElementWise: sum, product or max of two tensors

         LRN: cross-channel only

         Fully-connected: with or without bias

         SoftMax: c