深度模型部署

最新推荐文章于 2025-06-03 11:11:13 发布
最新推荐文章于 2025-06-03 11:11:13 发布
阅读量2.9k 收藏 1
点赞数
分类专栏： 目标检测 模型部署 文章标签： 计算机视觉 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_42466194/article/details/107304553
版权

深度模型部署

先看我的测试结果是这样的

模型测试结果

一 intel 系列

  • intel x86 cpu
  • intel-fpga

openvino

模型加速效果很好

  • 编译安装
  • 测试模型

opencv

  • 编译安装
  • 测试模型

二 nvidia dGPU / jetson

tensorRT

编译安装

demo测试

  • yolo
  • ssd

量化训练

deepstream / jetson

jetson-inference / jetson

三 ARM-cpu

<

最低0.47元/天 解锁文章
61、人属性模型PaddleClas部署和使用，框架基于MNN、NCNN、RKNN、TensorRT、OPENVINO、OAK
sxj731533730
07-17 751
基本思想：项目需要一个TensorRT的检测人属性的模型，随手搜了一个，转了一下，比较简单。二、测试和转模型pth2onnnx.py。五、openvino推理。八、tensorRT推理。七、rk3588推理。
AI模型部署实战：利用OpenCV的CUDA模块加速视觉模型部署流程
DeepDriving
05-14 1156
我在之前的文章《AI模型部署实战：利用CV-CUDA加速视觉模型部署流程》中介绍了如何使用CV-CUDA库来加速视觉模型部署的流程，但是CV-CUDA对系统版本和CUDA版本的要求比较高，在一些低版本的系统中可能无法使用。对于像我这种不会写CUDA代码又想用CUDA来加速模型部署流程的人来说要怎么办呢，其实还有一种方式，那就是使用OpenCV的CUDA接口。本文将介绍模块的基本使用方法（C++），以及如何使用这些接口来加速视觉模型部署。本文介绍了模块中图像处理接口的基本使用方法，用这些CUDA。
深度模型的部署
AI_BN的博客
09-08 431
深度学习框架keras,pytorch,caffe 边缘设备框架 tvm ncnn 或者海思板子 1：keras->onnx pip install keras2onnx pytorch->onnx pip install onnx pip install onnx-simplifier keras->caffe 2:onnx->caffe pip install onnx-caffe2 onnx->tvm 编译tvm源码 linux arm windows的LLVM比
深度学习模型服务端部署——flask+gunicorn+supervisor+nginx+docker
lishanlu136的博客
08-01 1597
深度学习模型服务端部署，确保高并发，高可用，利用flask+gunicorn+docker+nginx部署。
探秘Roboflow Inference：轻松实现计算机视觉模型部署与应用
gitblog_00035的博客
05-18 726
探秘Roboflow Inference：轻松实现计算机视觉模型部署与应用 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 [Roboflow] Inference（) 是一个强大的工具，让你能够无缝地使用和部署对象检测、分类、实例分割以及基础模型（如CLIP和SAM）。它提供了一个Python原生包、自托管的推理服务器和一个完全管理的、自动扩展的API，支持在边缘...
深度学习模型部署与剪枝优化实例.rar
01-11
深度学习模型部署与剪枝优化实例视频教程下载。深度学习模型部署与剪枝优化实例课程旨在帮助同学们快速掌握模型部署与优化方法。 主要包括两大核心模块： 1.基于深度学习框架PyTorch与Tensorflow2版本演示模型部署...
《深度学习》—— 模型的部署
weixin_73504499的博客
10-20 2481
深度学习中模型的部署是将训练好的模型应用到实际场景中的过程
深度模型部署：实战问题与优化方案
最新发布
学海无涯苦作舟的博客
06-03 1194
摘要 深度模型部署面临环境配置、性能优化、安全监控等关键挑战。本文系统梳理了从硬件兼容性（GPU驱动匹配、多卡配置）到软件依赖管理（CUDA版本冲突解决）的常见问题，提出计算图构建、推理延迟优化（动态批处理、模型量化）等解决方案。针对分布式部署，重点讨论NCCL调优和负载均衡策略，并强调安全防护（输入验证、模型水印）与Prometheus监控体系的重要性。最后给出CI/CD实施框架与典型案例库（内存泄漏排查、精度补偿），为高效部署提供全流程参考。
深度学习模型部署知识库.zip
03-06
【资源介绍】 1、该资源包括项目的全部源码，下载可以直接使用！ 2、本项目适合作为计算机、数学、电子信息等专业的课程设计、期末大作业和毕设项目，也可以...深度学习模型部署知识库.zip深度学习模型部署知识库.zip
NVIDIA CUDA TensorFlow TensorRT openVINO FFmpeg openCV等编译安装 Linux C++
Tosonw的博客
10-31 2759
NVIDIA CUDA TensorFlow TensorRT openVINO FFmpeg openCV等编译安装 Linux C++ NVIDIA 显卡驱动 CUDA驱动 cuDNN包 项目依赖 FFmpeg openCV Thrift TensorFlow bazel protobuf PyTorch TensorRT openVINO Caffe
基于Python的口罩检测模块代码解析
05-11
DeepStream 基于Python的口罩检测模块代码解析
Netron:用于神经网络的可视化器，深度学习，机器学习模型-开源
04-29
Netron是神经网络，深度学习和机器学习模型的查看者。 Netron支持ONNX，Keras，TensorFlow Lite，Caffe，Darknet，Core ML，MNN，MXNet，ncnn，PaddlePaddle，Caffe2，Barracuda，Tengine，TNN，RKNN，MindSpore Lite和UFF。 Netron具有对TensorFlow，PyTorch，TorchScript，OpenVINO，Torch，Arm NN，BigDL，Chainer，CNTK，Deeplearning4j，MediaPipe，ML.NET，scikit-learn，TensorFlow.js的实验支持。 使用浏览器版本可以下载或打开大量示例模型文件。 macOS，Windows，Linux，Python Server和浏览器均支持它。
基于PaddlePaddle实现的DeepSpeech2端到端中文语音识模型
夜雨飘零
11-04 1万+
本项目是基于PaddlePaddle的[DeepSpeech](https://github.com/PaddlePaddle/DeepSpeech) 项目开发的，做了较大的修改，方便训练中文自定义数据集，同时也方便测试和使用。DeepSpeech2是基于PaddlePaddle实现的端到端自动语音识别（ASR）引擎，其论文为[《Baidu's Deep Speech 2 paper》](http://proceedings.mlr.press/v48/amodei16.pdf) ，本项目同时还支持各种数据
安装OpenVINO过程中的踩坑_“此时不应有\*“
weixin_45767881的博客
03-10 818
OpenVINO的具体安装过程，请查看官方连接或如下两篇博客！ 官网文档（比较推荐看官方，虽然是English，但有网页翻译啊(狗头.jpg)） 博客_1*（中文版“官方文档”） 博客_2（详细介绍了每个文件、文档，以后打算长时间使用的可以看看！） 下面说一下踩坑问题 前面基本的依赖什么都安装好之后，初始化时—在bin目录下运行setupvars.bat时出现了"\此处不应有\NVIDIA" 解决办法： 查找了一些博客之后，说是系统变量(不是用户变量)里面的问题，然后我就去我的系统变里面去找关于NVI
ncnn 和 rknn 自定义算子对比实现
dubochao_xinxi的博客
06-17 1663
/ 获取输入和输出张量的虚拟地址// 输入数据指针// 输出数据指针// 自定义 Sigmoid 算子的实现// 初始化元素个数// 计算输入张量的总元素个数i++) {// 对每个元素进行 Sigmoid 计算y < inside;y++) {// 获取当前元素的输入指针// 获取当前元素的输出指针// 计算 Sigmoid 并存储结果return 0;// 返回 0 表示成功。
[RKNN] 1. 入门介绍
小小兵
07-06 3132
在RK3588s上完成RKNN的部署，环境配置篇
Intel OpenVINO配置和使用
热门推荐
James的博客
11-02 3万+
背景     最近的项目中，有客户提出在既有的CPU服务器上运行CNN的方案，即不添加nivida显卡已降低成本。因此调研Intel的OpenVINO方案。     OpenVINO是Intel提供的给予卷积神经网络的计算机视觉开发包。目的在能够快速的在Intel的硬件方案上部署和开发计算机视觉工程和方案。OpenVINO支持多种Intel硬件方案，包括CPU、集成显卡、Intel Movid...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值