模型实战部署
关注
分享
扫一扫
文章平均质量分 93
模型部署专栏主要分享模型部署的教程、技术和应用，目标是让模型落地更简单。此专栏提供了一些实战教程，可以学习到如何使用PyTorch和ONNX进行模型部署，包括PyTorch模型转ONNX模型的方法，以及如何在原生算子表达能力不足时，为PyTorch或ONNX添加自定义算子。其它框架模型转ONNX格式
视觉研坊
刀不磨生锈，人不学落后！
展开
-
Pytorch——什么是动态模型和静态模型？它们联系与区别？？？
在 PyTorch 中，动态模型和静态模型的概念主要涉及到模型的定义和执行方式。这两个概念在性能优化、部署和跨平台兼容性方面有重要影响。原创 2024-06-11 23:15:00 · 2213 阅读 · 0 评论 -
ncnn模型部署——训练自己YOLOv5模型转ncnn模型并部署到Android手机端
部署官网YOLv5模型和训练自己YOLOv5模型转ncnn模型并部署到Android手机端的详细实现过程原创 2024-04-16 20:45:00 · 4052 阅读 · 20 评论 -
ncnn模型部署——yolov5-6.0Pyotorch模型转onxx模型再转ncnn模型部署
yolov5-6.0Pyotorch模型转onxx模型再转ncnn模型部署原创 2024-04-04 11:00:00 · 2302 阅读 · 0 评论 -
ncnn模型部署——onnx模型转ncnn模型并推理可执行程序（resnet18例子）
ncnn为用户提供了一系列的模型转换工具，能够轻松地将caffe、onnx等格式的模型转换为ncnn可以识别的格式。在源代码编译完成后，这些工具会被存放在ncnn/build/tools目录下。在本次的示例中，使用了onnx2ncnn工具，将在pytorch中导出的resnet18的onnx模型转换为ncnn模型，并进行了推理。原创 2024-03-30 18:15:00 · 7960 阅读 · 5 评论 -
ncnn模型部署——ncnn编译和安装
ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。它是由腾讯开发的，专为移动设备和嵌入式系统设计，旨在提供快速、低功耗、小型的深度学习推理解决方案。原创 2024-03-29 20:15:00 · 4889 阅读 · 11 评论 -
模型部署——Pytorch模型转ONNX模型及测试转后ONNX模型（附代码）
Pytorch模型转ONNX模型及测试转后ONNX模型原创 2024-03-31 10:15:00 · 3058 阅读 · 6 评论 -
RKNN模型部署——RKNN零拷贝API开发板落地部署RKNN模型（附代码 详细图文教程）
RKNN零拷贝API开发板落地部署RKNN模型原创 2024-03-11 19:15:00 · 4317 阅读 · 0 评论 -
模型部署——RKNN C API开发板上落地部署RKNN模型（附代码 详细图文教程）
RKNN C API开发板上落地部署RKNN模型原创 2024-03-09 10:15:00 · 5815 阅读 · 18 评论 -
模型部署——rknn-toolkit-lite2部署RKNN模型到开发板上（python版）
rknn-toolkit-lite2部署RKNN模型到开发板上原创 2024-03-07 19:45:00 · 10288 阅读 · 30 评论 -
模型部署——RKNN模型性能评估和内存评估（详细图文教程_附代码）
RKNN模型性能评估和内存评估原创 2024-03-02 10:45:00 · 1965 阅读 · 1 评论 -
Pytorch模型训练后静态量化并加载int8量化模型推理（详细图文教程）
Pytorch模型训练后静态量化并加载int8量化模型推理原创 2024-02-29 21:15:00 · 4435 阅读 · 19 评论 -
模型部署——RKNN模型量化精度分析及混合量化提高精度（附代码）
由于在RKNN模型构建的过程中，对模型进行了量化，会无可避免的造成精度损失，使用精度分析接口，可以查看每一层的精度损失情况。通过混合量化，将某些损失较大的层，从量化层转为非量化层，从而提高模型的精度。原创 2024-02-26 18:29:28 · 7280 阅读 · 41 评论 -
模型部署——RKNN模型的评估和推理测试（附代码）
RKNN模型的评估和推理测试原创 2024-02-25 20:45:00 · 8925 阅读 · 14 评论 -
模型部署——使用rknn-toolkit将Pytorch模型转为RKNN模型（详细图文教程）
使用rknn-toolkit将Pytorch模型转为RKNN模型原创 2024-02-24 21:15:00 · 8464 阅读 · 4 评论 -
虚拟机Ubuntu系统上安装rknn-toolkit（详细图文教程）
虚拟机Ubuntu系统上安装rknn-toolkit原创 2024-02-24 18:45:00 · 7980 阅读 · 20 评论 -
NTB通信模式
NTB通信模式（Non-Transparent Bridging）是一种用于连接PCIe设备和NPU（神经网络处理器）的通信模式。在NTB模式下，PCIe设备和NPU之间可以直接通信，无需CPU的介入。这可以显著提高通信效率，降低延迟。原创 2024-02-20 21:15:00 · 1755 阅读 · 0 评论 -
【模型部署入门 一】：Pytorch图像分类模型转换ImageNet1000类预训练模型转ONNX（详细图文教程）
以上就是Pytorch图像分类模型转换ImageNet1000类预训练模型转ONNX的详细过程，此系列持续更新中。原创 2023-12-26 19:00:00 · 938 阅读 · 0 评论