GG_Bruse的博客

ONNX Simplifier 的主要功能是通过分析和优化 ONNX 模型的计算图，移除冗余操作、合并相邻节点、优化常量节点等，从而减小模型的大小和计算量。这不仅可以提高模型的推理速度，还能使模型结构更加清晰，便于理解和部署（若模型结构没问题，其实ONNX Simplifier用处不大）直接使用ONNX搭建计算图的开发效率有些低，通常都是Pytorch转ONNX。类似于链表，注意处理好待删除节点的上下游节点之间的链接关系。可以使用Netorn查看ONNX的结构。接下来的讲解都使用这个简单的模型。

Segmentation 错误。在 C++ API 上使用自定义 onnx 模型运行。模型在 Python 上按预期工作，但在 C++ API 上运行相同的模型时，会收到一个分段错误

checkpoint 转为 savemodel 的过程中也是存在一些小问题的，tensorflow2中存在延迟构建，在读取 checkpoint 前需进行显示构建（手动调用 build 或者执行一次推理），否则下面的代码会打印为空，无法进行节点之间映射。使用模型训练的同事提供的Tensorflow模型代码，将 checkpoint 中的权重重新读入，将其保存为savemodel格式，再使用 tf2onnx 将其转为 onnx 即可。pb文件中既包含权重也包含模型结构，是支持直接转 onnx 的。

最近博主在做TensorRT的升级，有感而发，分享一些小经验，哈哈哈哈接下来都用TensorRT官方提供的Demo进行讲述吧。