qq_37346140的博客

注册后搜索模型，注册的时候各类ID都不要取得过于随便，尽量用英文名。登陆后点击头像提交后点击头像在【Settings】中选择【Access Tokens】（2）点击【Create new token】,取名不限制但遵循以下原则，选择【Read】权限后点击【Create token】。Token name的命名遵循以下规则：描述性: 选择一个能够清晰描述token用途的名称。例如，如果该token用于访问Llama 3模型，可以命名为llama3-access。

部署大型语言模型是一个详尽且复杂的过程，涵盖了从数据处理到模型优化、集成和维护的多个环节。通常模型训练好之后，在源码里边也有detect.py代码进行推理，但是如何将训练好的模型给下游使用或者部署到生产环境中而不使用源码呢？模型部署后，我们需要对模型的性能进行评价，以确保模型能够在生产环境中高效地运行。模型部署是机器学习应用中重要的一环，它可以帮助企业快速将机器学习应用落地，并带来实际的商业价值。总之，Python中有很多方法可以实现模型部署，需要根据具体的需求选择适合的方法。模型部署相关的上下游模块。

前期环境配置（vs+libtorch+opencv）可以参考博主另一篇博文，这里主要基于环境配置好之后如何运行yolov5的推理程序，并生成对应的.exe文件。libtroch版本尽量和pytorch的版本一致，。博主查阅了很多博文，有的博文是通过cmake编译运行，博主vs新手，因为VS配置的libtorch和opencv是跟着项目的（在vs界面），博主暂时还没能把终端cmake编译和vs联系起来（配置好的环境容易崩掉），后边有时间再出一版结合cmake编译运行的方案。

其中【images】和【weights】即为二中下载源码中的【images】和【weights】，其他的头文件和源文件是二中源码。蓝色框则是添加需要运行的头文件和源文件，这里就是和博文。中的cmakelist.txt的不同之处，所以关于红色框和绿色框的路径地址怎么给，也可以参考该博文。在运行之前，需要将【images】复制到编译目录下，这是方便自定义给测试图片时路径书写方便。这里博主没有新建【include】和【src】目录，直接将5个文件复制到了新建项目下。对于终端会闪退的问题，可以添加如下代码解决。

下载解压后将bin以及include文件夹复制粘贴到步骤一种cuda安装目录下，同cudnn，直接复制粘贴会自动合并；这里选择默认目录即可，是个安装过程的临时目录，结束后此文件夹会被自动删除。需要注意的是这里并非指定安装目录，若需要指定安装目录，此处需与指定安装目录不同。注意上图的红色框框，是因为博主环境变量配置的问题。正确配置后即可查看安装的tensorRT版本了。这里有个前置工作需要搞清楚的，就是自己的显卡支持的cuda版本。目录下两个exe文件后是否出现跑“pass”，出现即为安装成功。

torch.onnx.export()得到onnx模型；netron.app查看onnx结构（onnx整体结构、算子属性信息和输入输出信息）；了解算子集（http://onnx.ai/onnx/operators/）