tf2trt源码走读（一）导读

        本篇为“tf2trt源码走读”系列的导读部分。由于工作原因，前段时间阅读了下tf2trt 的源码，现在在这里总结一下，以备不时之需。

        tf2trt用法可以参考：https://blog.youkuaiyun.com/weixin_43842032/article/details/103764010

        从使用语言来看，tf2trt分为两部分，python部分作为前端，c++部分作为后端。python部分主要定义了一个converter类用于完成tf2trt的转换（TrtGraphConverterV2），主要功能是接收用户设置的参数，同时调用tf2trt 自定义的 grappler optimizer ---TensorRTOptimizer，其会对原始graph 进行切图（segment），对于tf2trt支持转换得node切到一个个自图里，同时，用TRTEngineOP 代替这个子图。主体代码在：/tensorflow/python/compiler/tensorrt 下，核心代码在/tensorflow/python/compiler/tensorrt/trt_convert.py 中。

        c++部分代码主要分为以下三个部分：

               1. segment：这里主要实现了如何对原始的graph进行切分，获得node之间的连接关系，代码路径在：tensorflow/compiler/tf2tensorrt/segment， 核心代码在tensorflow/compiler/tf2tensorrt/segment/segment.cc

                2.convert: 这里主要定义了各个tf node 与 trt node 之间的转换关系，以及构造TRTEngineOp。代码路径在：tensorflow/compiler/tf2tensorrt/convert 核心代码在：tensorflow/compiler/tf2tensorrt/convert/convert_graph.cc 以及tensorflow/compiler/tf2tensorrt/convert/convert_nodes.cc。

                3.kernels： 这里定义了tf2trt相关用到的op，其中最重要的是TRTEngineOp，该op是一个异步op主要承担了：1.调用convert中的相关函数进行tf2trt转换，生成ICudaEngine，2.使用ICudaEngine进行推理（如果因为一些原因导致生成engine失败或者engine推理报错转而使用原生的tf子图推理） 主要代码在：tensorflow/compiler/tf2tensorrt/kernels 核心代码在：tensorflow/compiler/tf2tensorrt/kernels/trt_engine_op.cc