高性能部署Yolov5 Triton service

原创 已于 2022-11-04 08:42:24 修改 · 1k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #python #图像处理 #计算机视觉 #目标检测

于 2022-10-30 13:44:45 首次发布
本文介绍在Triton中部署yolov5目标检测服务并进行优化，包括轻量化Detect层Output、集成BatchedNMSPlugin等。还给出环境信息，通过Perf_analyzer对比三种部署方式性能，显示不同部署方式在不同并发数下的性能表现，最后列出参考资料。

YOLOV5 optimization on Triton Inference Server

在Triton中部署yolov5目标检测服务, 并分别进行了如下优化：

  1. 轻量化Detect层的Output
  2. 集成TensorRT的BatchedNMSPlugin到engine中
  3. 通过Triton Pipelines部署

其中Pipelines分别通过Ensemble和BLS两种方式来实现，Pipelines的infer模块是基于上述1中精简后的TensorRT Engine部署, Postprocess模块则通过Python Backend实现, 工作流参考如何部署Triton Pipelines

相关代码链接

Environment

  • CPU: 4cores 16GB
最低0.47元/天 解锁文章
【ai】 梳理一下yolov4及 trition部署的心路历程
突围
06-26 209
trition
YOLOv8【第九章：模型部署篇·第20节】一文搞懂，YOLOv8部署最佳实践总结！
最新发布
**My Coding Family**
12-20 667
🏆 本文收录于 《YOLOv8实战：从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例（当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向），坚持持续更新 + 深度解析，质量分长期稳定在 97 分以上，可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。
Triton测试
evsqiezi
09-25 1054
下载client sdk ，如： v2.25.0_ubuntu2004.clients.tar.gz，解压到本地，执行测试，到docs目录下，下载模型，启动tritonserver.这个以deepstream的triton为例。下载server的代码到本地，git clone。2.1 启动tritonserver。2.2 测试demo，从。1 启动docker。
Triton推理服务器部署YOLOv8（onnxruntime后端和TensorRT后端）
谢白羽
05-29 1101
设计思想和特点1、支持多种机器学习框架2、支持多种部署场景3、高性能推理4、灵活的模型管理5、可扩展性6、强大的客户端支持。
Triton部署YOLO，使用Python Backend
qq_44992785的博客
10-16 1176
本文介绍了使用Triton部署YOLOv8/v11模型的方法，包括模型配置、前后处理流程和性能测试。主要内容包括：1）Triton模型目录结构配置，包含前处理、推理模型和后处理三个模块；2）详细的前后处理Python实现，包括图像预处理（letterbox缩放）、NMS后处理等；3）通过Ensemble配置将多个模块串联为完整流水线；4）提供Docker启动命令和Python客户端测试脚本，支持性能测试和结果可视化。该方法实现了端到端的YOLO模型部署，可通过配置文件动态调整推理参数，适用于实际生产环境。
NVIDIA Triton Inference Server 部署 yolov5
zhaotun123的博客
09-10 758
Nvidia Triton Inference Server 部署 yolov5
triton部署yolov5笔记（五）
weixin_41796280的博客
08-24 1245
总结
【Triton部署目标检测模型】Linux环境 MMRotate+MMDeploy+Triton 目标检测模型训练、部署及推理最全教程
糯米丸子TAT的博客
10-29 4530
Triton部署：MMrotate + MMDeploy + Triton Inference Server + Triton client 最全教程！
triton 部署yolov5模型
what_wrong的博客
02-09 1300
triton 部署yolov5模型
利用Triton Pipelines部署yolov5 service
Untitled的专栏
10-30 1873
模型服务不仅包含 GPU based Inference，还包括preprocess和postprocess。通过Triton Pipelines可以提高服务的性能
YOLOv8【第九章：模型部署篇·第15节】一文搞懂，模型监控与运维！
**My Coding Family**
12-19 1853
🏆 本文收录于 《YOLOv8实战：从入门到深度优化》 专栏。该专栏系统复现并梳理全网各类 YOLOv8 改进与实战案例（当前已覆盖分类 / 检测 / 分割 / 追踪 / 关键点 / OBB 检测等方向），坚持持续更新 + 深度解析，质量分长期稳定在 97 分以上，可视为当前市面上 覆盖较全、更新较快、实战导向极强 的 YOLO 改进系列内容之一。
yolov4-triton-tensorrt:该存储库将YOLOv4作为优化的TensorRT引擎部署到Triton Inference Server
03-21
使用TensorRT的Triton Inference Server上的YOLOv4 该存储库展示了如何将YOLOv4作为优化的引擎部署到 。 Triton Inference Server具有许多现成的优势，可用于模型部署，例如GRPC和HTTP接口，在多个GPU上自动调度，共享内存（甚至在GPU上），运行状况度量和内存资源管理。 TensorRT将通过融合层并为我们的特定硬件选择最快的层实现来自动优化模型的吞吐量和延迟。我们将使用TensorRT API从头开始生成网络，并将所有不支持的图层添加为插件。 构建TensorRT引擎 除了运行中的具有GPU支持的docker环境外，不需要运行此代码的依赖项。我们将在TensorRT NGC容器内运行所有编译，以避免必须本地安装TensorRT。 运行以下命令以获取带有我们的回购代码的可运行TensorRT容器： cd yourwork
深度学习目标检测：基于YOLOv10与Triton数据集的目标检测实现
YOLO
03-30 276
Triton数据集是由NVIDIA发布的一个开源数据集，专门用于训练和评估目标检测模型。该数据集包含了大量的图像，标注了多种物体（如行人、车辆、交通标志、动物等）。每个图像都被标注了物体的类别、位置以及尺寸等信息，适合用于训练和验证目标检测模型。多类别物体标注：数据集中包含了多种物体类别，包括日常生活中的车辆、行人、动物、交通标志等。高质量标注：数据集中每个物体都有详细的标注信息，包括物体的边界框位置、类别等。开放性与多样性。
Triton服务器部署Yolov5s模型应用
space01的专栏
05-15 1560
目录 1. Triton介绍 2.Yolov5s模型部署 2.1Triton服务端部署 2.2Triton客户端部署 1. Triton介绍 NVIDIA Triton推理服务器是NVIDIA推出的开源推理框架，主要为用户提供在云和边缘推理上部署的解决方案。 NVIDIA Triton 推理服务器 具有以下的特性： 支持多种开源框架的部署，包括TensorFlow/PyTorch/ONNX Runtime/TensorRT 等，同时也支持用户提供自定义的服务后端(back...
yolov5m.pt triton部署
qq_42316533的博客
01-10 2325
1.创建triton docker镜像 docker pull nvcr.io/nvidia/tritonserver:21.10-py3 2.将yolov5m转为onnx A.下载yolov5官方代码 B.在运行export.py文件之前，因为onnx必须转成动态的，需要修改dynamic参数，并且根据自己需求修改精度（一般为FP16）。 python path/to/export.py --weights yolov5m.pt --img 640 --include onnx --dynamic --
Yolov5缺陷检测/目标检测 Jetson nx部署Triton server
zachary_hao的博客
08-08 2211
安装triton server 的依赖包，如果不在jetson上使用triton 客户端可以不装triton client 的依赖。下载示例模型，cd 到home/tritonserver2.35.0-jetpack5.1.2/tritonserver/bin。模型train 一个自己的model, 我选用的是yolov5l6,略微大一些， best.pt 153.1MB。其实triton server 不用安装，直接下载解压开箱即用，要安装的是一堆依赖。修改638行default=[‘engine’]
Triton部署YOLOV5笔记（二）
weixin_41796280的博客
07-15 2741
python backend triton
triton部署yolov5笔记（三）
weixin_41796280的博客
08-04 2203
tensorrt yolov5
NVIDIA Triton系列-YOLOV5 部署(1) -环境搭建及部署并使用Perf_Analyze测试ONNX YOLOV5M
qq_43670549的博客
09-04 2317
利用英伟达高性能部署方案Triton完成YOLOV5的trt+ensemble+python backend的部署
windows部署yolov5
03-21
### 部署 YOLOv5 模型于 Windows 系统 #### 准备工作 为了在 Windows 上部署 YOLOv5 模型，需完成以下准备工作。首先确认已安装 `Git` 和 Python 的适当版本（建议使用 Python 3.8 或更高版本）。可以通过命令 `...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值