机器学习笔记 - windows基于TensorRT的UNet推理部署

已于 2023-05-21 10:58:30 修改
阅读量1.1k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 深度学习 人工智能 TensorRT 推理加速 UNet
于 2023-05-20 15:38:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/130756415
本文详细介绍了如何在Windows上使用TensorRT进行UNet模型的推理部署，从TensorRT下载到模型转换、构建推理引擎及性能提升，分享了从hdf5到onnx的转换过程，以及解决在部署中遇到的兼容性和效率问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、TensorRT简介

        NVIDIA TensorRT是一个用于高性能深度学习推理的平台。TensorRT适用于使用CUDA平台的所有NVIDIA GPU。所以如果需要基于TensorRT部署，至少需要一个NVIDIA显卡，算力5.0以上，比Maxwell更新的架构，可以参考下表。

CUDA GPUs - Compute Capability | NVIDIA Developerhttps://developer.nvidia.com/cuda-gpus#compute

        需要安装cuda、cudnn。还用到了到了OpenCV，这里是基于TensorRT的c++的api。

二、TensorRT下载

1、Tenso

了解本专栏 订阅专栏 解锁全文
Unet语义分割训练和TensorRT部署
zhouzongzong的博客
08-14 2614
Unet语义分割训练和TensorRT部署
机器学习笔记 - 在Windows上使用TensorRT进行UNet推理部署
StyVue的博客
09-20 294
在本文中，我们将介绍如何在Windows操作系统上使用TensorRT来进行UNet模型的推理部署。UNet是一种常用于图像分割任务的深度学习架构，而TensorRT是NVIDIA开发的用于高性能深度学习推理的库。我们将展示如何使用TensorRT优化UNet模型并将其部署到Windows平台上。
Pytorch通过保存为ONNX模型转TensorRT5的实现
12-17
1 Pytorch以ONNX方式保存模型 def saveONNX(model, filepath): ''' 保存ONNX模型 :param model: 神经网络模型 :param filepath: 文件保存路径 ''' # 神经网络输入数据类型 dummy_input = torch.randn(self.config.BATCH_SIZE, 1, 28, 28, device='cuda') torch.onnx.export(model, dummy_input, filepath, verbose=True) 2 利用TensorRT5中ONN
基于TensorRT部署U-Net训练的网络模型
二爷的博客
02-07 614
本项目采用的代码为pytorch-Unet，该项目是基于原始图像的比例作为最终的输入，这个对于数据集中图像原始图片大小不一致的情况可能会出现训练问题（显存不够用）。Kaggle成立于2010年，是一个进行数据发掘和预测竞赛的在线平台。从公司的角度来讲，可以提供一些数据，进而提出一个实际需要解决的问题；从参赛者的角度来讲，他们将组队参与项目，针对其中一个问题提出解决方案，最终由公司选出的最佳方案可以获得5K-10K美金的奖金。
基于C++实现对UNet图像分割的部署
@bangbang的博客
12-22 1736
UNet它是一个的结构，那么encoder对应就是这个u型网络左边这半部分，也就是我们特征提取及下采样这部分。decoder解码就是右边部分通过一系列上采样，我们得到最终的一个分割图。对于网络结构左边这一侧，作者叫做，对于右边这一侧作者称为。图像分割UNet (1) : 网络结构讲解。
深度学习模型C++部署TensorRT
weixin_41202834的博客
11-12 8794
如何最简单的在无CUDA环境的机器上利用Tensorrt部署深度学习模型。
机器学习笔记 - 基于TensorRT或CUDA推理第一次速度慢的解决方案参考
学以致用 知行合一
06-26 1565
不管是基于CUDA还是基于TensorRT进行模型推理，都是分三个阶段，将数据从内存拷贝到显存，进行推理，将推理结果从显存拷贝到内存。关于TensorRT推理，可以参考之前的博客。机器学习笔记 - windows基于TensorRT的UNet推理部署_坐望云起的博客-优快云博客NVIDIA TensorRT是一个用于高性能深度学习推理的平台。TensorRT适用于使用CUDA平台的所有NVIDIA GPU。
机器学习笔记 - 基于百度飞桨PaddleSeg的人体分割模型以及TensorRT部署说明
学以致用 知行合一
11-29 958
虽然Segment Anything用于图像分割的通用大模型看起来很酷（飞桨也提供分割一切的模型），但是个人感觉落地应用的时候心里还是更倾向于飞桨这种场景式的，因为需要用到一些人体分割的需求，所以这里主要是对飞桨高性能图像分割开发套件进行了解和使用，但是暂时不训练，因为搞数据集挺费劲。内置及最新发布HumanSeglite模型超轻量级人像分割模型，可支持移动端场景的实时分割。
机器学习笔记 - pytorch + unet + 数据科学碗竞赛 医学图像分割
学以致用 知行合一
04-01 3307
数据集来自Kaggle网站的2018数据科学碗竞赛。数据科学碗竞赛由 Booz Allen 和 Kaggle 主办的 Data Science Bowl 是全球首屈一指的社会公益竞赛数据科学。 数据科学碗汇集了数据科学家、技术人员、领域专家和组织，以应对世界数据和技术的挑战。这是一个平台，人们可以通过它来驾驭他们的热情，释放他们的好奇心，并扩大他们的影响力，从而在全球范围内实现变革。
基于C++快速使用TensorRT来部署模型项目源码
03-24
基于C++快速使用TensorRT来部署模型项目源码
0798-极智开发-解读SAM分割算法及示例代码
02-29
0798_极智开发_解读SAM分割算法及示例代码
细说TensorRT C++模型部署2
weixin_42479327的博客
09-03 551
比如当模型执行到后处理阶段, 预处理和推理都是停止状态. 为提升效率,这里引入多线程方法. 即预处理,推理,后处理各是一个独立线程. 每个线程只处理从前一个步骤接收的数据,处理后放入共享队列, 等下一个节点去取用. 没有数据处理则进入等待状态. 三个线程同时工作, 效率会高很多.该实现类中最主要方法是commit,trtPre,trtInfer,trtPost和startThread, 属性中各种必需的变量和队列,结构体,结构体定义在外部,具体定义在完整代码中有详细说明.
Tensorrt+PyTorch+Win10部署
专业主义
05-27 1214
深度学习模型部署之安装TensorRT windows11+vs2022+TensorRT8.0.1 EA 版本代表抢先体验（在正式发布之前）。 GA 代表通用性。 表示稳定版，经过全面测试。
6.4.tensorRT高级(1)-UNet分割模型导出、编译到推理（无封装）
周同学的博客
08-06 1317
6.4.tensorRT高级(1)-UNet分割模型导出、编译到推理（无封装）
WIN10+3090+CUDA11.2+cudnn8.2+python3.7+pytorch1.9配置unet（未完记录）
bozki1995的博客
07-08 2952
WIN10+3090+CUDA11.2+cudnn8.2+python3.7+pytorch1.9配置unet（未完记录）新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 目录 基本情况介绍。 显卡英伟达3090，看了英伟达
windows pytorch Unet网络实现二，网络学习
guyuezunting的专栏
07-09 1081
学习代码之前先查看网络，有很多已有的图，都是标准的 首先看输入是572x572的图片，所以，处理ct的时候需要先读取image这样的信息 第一次卷积，输出570*570并且输出是64channel的数据。这里用的padding是valid，所以在3*3的核，stride1*1的时候，都需要valid的数据，因此，3*3只能移动到最后一列有效数据停下，刚刚好少2列2行，因此是570*570的。接着进行第二次卷积，将特征进一步提高。也是输出64channel数据，大小是568*568 接着这是第一次.
五、yolov8 tensorRT c++部署及接口封装（保姆级教程&附源码）
机器视觉、深度学习、C++、opencv、halcon、图像算法
04-25 2403
onnx转engine保姆级教程，附带源码
tensorrt 推理Unet网络（python && C++）
maobin_1的博客
01-11 1154
分类数量改为2，训练部分参考源码 ，源码中可能由于pytorch版本不一样需要改一下。我的输入是（1，3，720，1280），输出是（1，2，720，1280），源码。重要推理部分如下，C++部分改天上传。
U-Net基于TensorRT部署
最新发布
01-22
### U-Net 模型 TensorRT 部署教程 #### 准备工作 为了将U-Net模型部署到TensorRT上，需先准备好训练好的U-Net模型文件。最初计划是从HDF5格式转换至UFF再进一步处理，但由于UFF已被TensorRT弃用，因此改为通过ONNX作为中间桥梁[^1]。 #### 将 HDF5 转换为 ONNX 格式 对于已有的基于TensorFlow框架下的U-Net模型，可以利用`tf2onnx.convert.from_keras()`方法将其转化为ONNX格式。此过程涉及读取原始的.hdf5文件并保存成.onnx文件形式以便后续操作[^2]。 ```python import tf2onnx from tensorflow.keras.models import load_model # 加载keras h5模型 model = load_model('path_to_your_unet_hdf5_file') # 导出为onnx格式 _, _ = tf2onnx.convert.from_keras(model, output_path="unet.onnx") ``` #### 使用 TensorRT 构建推理引擎 完成上述步骤之后，则可着手于构建适用于目标平台（如NVIDIA Jetson TX2设备）上的高效能推论引擎。这一步骤主要依赖Python API来实现，具体来说就是创建Builder对象并通过配置SessionOptions与Runtime属性最终得到序列化的Engine实例[^3]。 ```cpp #include "NvInfer.h" #include <fstream> #include <iostream> // ...省略部分初始化代码... nvinfer1::ICudaEngine* create_engine(int maxBatchSize, nvinfer1::IBuilder& builder, nvinfer1::INetworkDefinition& network) { // Build the engine builder.setMaxWorkspaceSize(1 << 20); // 设置最大workspace大小 builder.setFp16Mode(true); nvinfer1::IBuilderConfig *config = builder.createBuilderConfig(); config->setMaxWorkspaceSize(1ULL << 30); return builder.buildCudaEngine(network); } int main() { // 创建builder和network定义... std::unique_ptr<nvinfer1::IRuntime> runtime{nvinfer1::createInferRuntime(gLogger)}; auto parser = nvonnxparser::createParser(network, gLogger); if (!parser->parseFromFile(onnxFilePath.c_str(), static_cast<int>(gLogger.getSeverity()))) { std::cerr << "Failed to parse ONNX file." << std::endl; return -1; } nvinfer1::ICudaEngine* engine = create_engine(batch_size, builder, *network); assert(engine != nullptr && "Failed to build CUDA Engine"); std::ofstream p("unet.trt", std::ios::binary); p.write(static_cast<const char*>(engine->serialize()), engine->getSerializedSize()); p.close(); std::cout << "convert onnx model to TensorRT engine model successfully!" << std::endl; // 清理资源... } ``` #### 测试预测性能 最后，在实际应用环境中验证所生成TRT模型的表现至关重要。编写简单的测试脚本用于加载先前导出的`.trt`文件，并执行前向传播计算以评估其速度及准确性。确保整个流程顺畅无误后即可投入生产环境使用[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值