认真努力，做一只会飞的毛毛虫。

怎么样，是不是感觉还不错呢。我们能够选择的有两条路线实现C++的部署：1）onnx + 多线程：这种方法适用于多种框架，比如ncnn。但是无法将N卡性能完全发挥出来。2）用Trt的engine文件推理。该方法不仅可以做到C++推理，还可以将N卡的性能最大限度的项目代码的环境和mmdetection2.17所用环境一致，验证命令为：显存不是特别大的朋友，tile参数是必须得设置的。

前一篇文章对 成功部署，尤其是将推理时间从原先python的20s以上提高到2s以内。尽管如此，仍面临以下问题：足够快，但其主要是针对动漫，对于真实世界场景不够理想； 能够在速度和精度上取得权衡，但其仍然做不到实时应用，且效果也幸在部署层面，为了和原先的代码兼容，我们将在生成engine引擎之前直接对pth文件进行融合，完整的融合代码如下所示：以根据实际需要进行修改。融合后得到最新的pth文件后，我们需要将其转为onnx版本，完整的代码如下（也就是在之前的转换脚本中增加一行代码即可）：

一共分为两部分Python部分模块一：从.pth到.pt。其实部分pth是可以直接转onnx的，但也存在无法直接转换的可能，为了提高成功率，先用torch.jit.trace转成pt，即torchscript可调用的模型后再转onnx，可大幅度提高成功率。从函数功能上来讲，trace函数可以做到类似冻结图计算的操作，只记录在给定张量上运行给定函数时所执行的操作，以此提高转换成功率。对于Siamese网络而言，必须先转为pt后才能成功转为onnx，否则会报异常。转换代码及注释如下：需要注意的是，我们要将

博文中会给出本项目全套源码+运行文档+讲解文件的网盘链接，开发SDK接口，可同步迁移至其他C++项目或基于自定义训练网络进行部署。此教程可大幅度减少试错成本，一步一步跟着本文教学，若不成功，博主永不更文。首先给出实测性能指标：文末源码相关配置：开始教学第一步：将pth权重(自己训练好的或官方训练好的模型二者均可)转为onnx推理模型。转换原理：由于pth直接转engine比较麻烦，需要依赖的库比较多，因此采用pth->onnx->engine的方式，这种方式比较快捷并且成功率较高。转换流程：首先将默认生成的

Meta Learning：名字起的故弄玄虚，其实意思就是让网络学会如何去学习，即learn to learn。Few-Shot Learning：Meta Learning的一种，二者也可以看作是一回事。和传统通过大量数据集训练神经网络这类监督学习不同，并不是让机器准确识别测试集的图像，其目标是让神经网络学会学习。即通过大量数据去训练神经网络的目的并不是让网络学习狼、大象等动物的特征，进而准确分类没见过的动物图像。而是让神经网络理解事物的异同，学会区分不同的事物，即当网络训练完成后，任意给两张网络没见过的

开门见山，Siamese网络结构如下所示：模型训练数据集的准备：无论是训练自定义数据集还是手写字公开数据集，文件位置均为datasets\images_background\下。 接着就可以开始训练了，在训练之前，可以阅读train.py脚本，修改相应的batchsize、预训练权重的启用和存放目录以及学习率等，不过通常情况下不改也没事。需要注意的有两点：训练过程如下图所示：推理 训练好的模型文件在.\logs\中存放，我们修改siamese.py文件中的model_path路径，其他的不动