深度学习模型部署

---

ChatGPT回答

将深度学习模型部署到实际硬件中，通常可以选择以下几种硬件平台：

• 普通电脑（CPU 或 GPU）：如果是实验性或小规模应用，可以直接部署在普通电脑上，尤其是配置了较好的 GPU 的电脑上。这样可以方便调试，适合较小规模、对实时性要求不高的任务。
• 边缘设备（如 NVIDIA Jetson 或树莓派等）：对于需要在生产环境中实时处理的任务，低功耗的边缘设备是常用的选择。比如 NVIDIA 的 Jetson 系列设备（Jetson Nano、Jetson Xavier 等），适合运行神经网络模型，尤其在有 CUDA 支持的环境下能获得较好的性能表现。
• 工业控制器或 PLC：在工业生产环境中，深度学习模型有时会部署在工业控制器（如工控机）上。这类设备通常具有高稳定性和抗干扰能力，适合在较苛刻的生产环境下运行。如果你的 CNC 设备环境中已经有这种工控机，可以考虑将模型部署在工控机上。

部署步骤

1. 模型导出：将训练好的 PyTorch 模型导出为适合部署的格式。比如可以导出为 ONNX 格式，这样可以方便在不同的设备和框架上运行。

import torch
dummy_input = torch.randn(1, 3, 224, 224)  # 根据你的输入尺寸修改
torch.onnx.export(model, dummy_input, "model.onnx")

2. 选择推理框架：根据目标硬件选择合适的推理框架，比如 TensorRT（适合 NVIDIA GPU）、OpenVINO（适合 Intel CPU 和 VPU）、ONNX Runtime（适合跨平台设备）等。

3. 优化模型：在边缘设备上，优化模型可以大大提高推理效率。比如使用 TensorRT 对 ONNX 模型进行优化，生成适合 GPU 或边缘设备的模型版本。

4. 编写部署代码：编写一个 Python 或 C++ 程序，用于加载模型并进行推理。比如在摄像头采集图像后将图像输入模型，得到预测结果后触发相应的动作。

5. 集成与测试：将程序部署在目标硬件上进行测试。确认硬件性能是否满足实时性要求，并确保整个流程能够正常工作。

如果你使用的是工业生产环境，需要考虑硬件的适应性，比如耐高温、抗震、抗干扰等特性。

---

通义千问回答

当你已经训练好一个深度学习模型，并希望将其部署到实际硬件中时，你需要考虑几个关键因素：目标平台的类型、性能要求、延迟需求、资源限制以及维护成本。

根据这些因素的不同，你的部署策略也会有所不同。以下是一些常见的步骤和考量点：

1. 确定部署目标

   个人电脑或服务器：如果你的应用不需要极高的吞吐量，且可以容忍一定的延迟，那么你可以选择将模型部署在一台具有适当GPU的个人电脑上或者数据中心的服务器上。

   云服务：对于需要高可用性、可扩展性的应用，可以使用云提供商的服务，如AWS, Google Cloud, 或者Azure。这些云平台通常提供专门针对机器学习优化的实例类型，比如带有高性能GPU的实例。

   嵌入式设备：如果应用场景是移动设备、IoT（物联网）装置或者是其他资源受限的环境，你可能需要将模型部署到嵌入式设备上。这通常涉及到模型的压缩和优化，以适应有限的计算能力和内存。

2. 模型优化

   在将模型部署之前，往往需要对模型进行一系列优化，包括量化（从浮点数到整数）、剪枝（移除不重要的权重）、蒸馏（用一个小模型模仿大模型的表现）等 。这样可以减少模型大小和提高推理速度，尤其是在资源有限的平台上。

   使用特定的工具如TensorRT（NVIDIA GPU）、TVM或者OpenVINO来进一步加速模型推理。

3. 选择合适的框架和工具

   如果你在开发阶段使用的是PyTorch或TensorFlow这样的框架，那么你需要考虑如何将模型转换为适合生产环境使用的格式。例如，可以将PyTorch模型转换成ONNX格式，然后使用ONNX Runtime来执行推理。

   对于某些场景，你可能还需要将模型导出为C++或Java代码，以便集成到现有的应用程序中。

4. 创建API接口

   如果模型将通过网络提供服务，你需要创建一个API接口，让客户端可以通过HTTP请求调用模型。可以使用Flask、Django或FastAPI等Web框架来实现这一点。

5. 容器化

   使用Docker容器化你的应用程序，确保模型可以在任何支持Docker的环境中运行，无论是在本地还是云端。

6. 部署与监控

   将模型部署到选定的硬件上，并设置必要的监控措施，以跟踪模型的性能和健康状况。
   如果是云服务，利用云服务商提供的管理工具和服务来简化部署过程。

7. 测试与迭代

   在实际部署前进行充分测试，确保模型能够正确地处理各种情况。
   根据用户反馈和系统日志不断调整和优化模型。

综上所述，实际硬件的选择取决于你的具体需求，它可以是个人电脑、服务器、云端虚拟机或是嵌入式设备。
重要的是要确保所选平台能够满足你的性能、成本和易用性要求。此外，模型优化和适当的部署工具也是成功部署的关键。

---

Pytorch与深度学习 #10.PyTorch训练好的模型如何部署到Tensorflow环境中

链接：点击这里

• PyTorch更适合开发，TensorFlow更适合部署。
• 主要讲述了如何将Pytorch训练好的模型转换成适合部署在Tensorflow环境的模型。
• 引出了树莓派，并演示了如何在树莓派上运行 Tensorflow Lite 模型。

---

如何将训练好的神经网络部署到嵌入式芯片上，如arduino和树莓派等？（知乎）

链接：点击这里

其中一位博主的回答：

• 包含了大量的解决方案和代码库
• ONNX是一种AI神经网络模型的通用中间文件保存方法(可以理解成AI世界的XML)

另一位博主的回答：

部署大体分为两个部分：模型压缩和模型部署

模型压缩：目前可用的方案有模型蒸馏,模型剪枝和模型量化,一般的做法是先做模型蒸馏, 得到小模型之后进行模型剪枝, 再对剪枝过后的模型进行量化处理。

模型部署：

• 大公司开发推理框架,个人搞集成,如果不需要自己针对底层硬件写加速库的话,其实只需要用别人的库。

• 主流的推理引擎可选tenforflow-lite, 阿里的MNN, 腾讯的NCNN,
  我使用过MNN和NCNN, 总体评价MNN比NCNN好用, 推理速度略快, 但是NCNN的量化功能做得特别好, 使用量化模型推理还挺快, 另外, NCNN的社区也要活跃一些, 供参考.

• 模型的量化和剪枝首先需要大概知道原理，推荐了文章

---

训练好的深度学习模型原来这样部署的！

链接：点击这里

以下需求讲解转自于《知乎-田子宸》

1. 简单的demo演示，只要看看效果的，像是学校里面的demo展示这种
2. 要放到服务器上去跑，但一不要求吞吐二不要求时延的那种，说白了还是有点玩玩的意思
3. 放到服务器上跑，要求吞吐和时延（重点是吞吐）
4. 放在NVIDIA嵌入式平台上跑，注重时延
5. 放在其他嵌入式平台上跑，注重时延
6. 上述部署方案不满足我的需求

部署举例：

作者：糖心他爸

• 一般从离线训练到在线部署，我们需要依赖离线训练框架（静态图：tensorflow、caffe，动态图：pytorch、mxnet等），静态图工业部署成熟坑少，动态图灵活便捷、预研方便，各有各的好处；

• 还需要依赖在线inference的框架（如阿里的MNN、腾讯的NCNN等等）。

部署流程

1. 模型设计和训练
2. 针对推断框架的模型转换
3. 模型部署

深度学习模型部署方法

出处：智云视图

• Online 方式（云端）
• Offline 方式（部署到移动端）

部署方法

1. 训练并得到模型
2. 在得到模型后，在移动端进行部署。

介绍了一些开源的移动端深度学习框架

---

子豪兄部署

链接：点击这里

• 将.pth文件转换称了onnx文件
• 使用了ONNX Runtime 推理器
• 包含了图片识别代码和实时视频识别代码
• 其中，扩展阅读包含了模型部署的博客（需要读一读，写的不错）