In-Place操作及onnx导出

已于 2023-09-20 10:31:51 修改
阅读量420 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习算法部署 ONNX 文章标签： ONNX
于 2023-09-19 20:44:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yangjinyi1314/article/details/133027336
本文介绍了PyTorch中的In-Place操作，这种操作能节省GPU显存但可能导致梯度计算问题。文章提醒在使用In-Place操作时要谨慎，特别是在导出ONNX模型时应避免，因为这可能引入scatterND等不被广泛支持的算子。建议使用非In-Place操作以保证模型移植性和兼容性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文只做本人笔记记录所用！

一、概念介绍

In-place 操作：被称为就地操作和原地操作

pytorch中原地操作的后缀为_，如.add_()或.scatter_()，

就地操作：是直接更改给定Tensor的内容而不进行复制的操作，即不会为变量分配新的内存（不分配新的对象）。Python操作类似+=或*=也是就地操作。

当然有In-Place就有out-of-place与之对应。

  • 每个 in-place 操作实际上都需要重写计算图的实现。out-of-place只是分配新对象并保留对旧计算图的引用，而 in-place 操作则需要将所有输入的创建更改为代表此操作的函数。

二、介绍

深度学习降低显存使用量，有几种简单的方法可以减少模型占用的GPU显存

（1）更改模型的结构，比如做轻量化模型的设计，结构重参等方法，可以有效降低模型参数量

（2）模型蒸馏，从教师模型（参数量大）-》蒸馏出学生模型（参数量小）

（3）每次训练batchsize设置小一些，也可以减少显存占用量（缺点是模型需要更长的时间训练，且模型性能可能会受损）

在我们pytorch训练

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【目标检测-YOLO】YOLOv5-yolov5s TensorRT部署准备之ONNX导出（第一篇）
博观约取，厚积薄发
04-01 7803
下面的内容是对 YOLOv5-yolov5s TensorRT部署前的准备之导出可用的ONNX。 之前已经写过部分内容，但是还不够详细。 1. YOLOv5-6.0版本 以下内容以 6.0 版本为准。 修改导出文件： def forward(self, x): z = [] # inference output for i in range(self.nl): x[i] = self.m[i](x[i]) # conv2d
复杂算子onnx导出(3): 将sparseconv导出onnx
@bangbang的博客
04-23 421
为True的话，输入和输出节点的tensor是同一个tensor（出现tensor复用），共享同样的内存地址，此时input和output的id是一样的，前面的博客我们已经介绍过，id复用会导致构建graph出错。比如ReLU中，如果inplace为True的话，input和ouput的id 是一样的。其中 BN可以和spconv的weight、bias进行融合，融合的原理和普通的2d卷积其实是一样的，只不过spconv维度弄的有点复杂。，从而加上了enable_trace标记来保护，避免陷入死循环。
PyTorch中不能对不同形状的tensor进行in_place操作
caojingxuanbjtu的博客
07-08 400
使用 𝐓𝐞𝐧𝐬𝐨𝐫 初始化一个 𝟏 × 𝟑 的矩阵 𝑴 和一个 𝟐 × 𝟏 的矩阵。函数将二者形状统一，再进行in_place操作。对于两个不同形状的tensor，需要先利用。，而不是创建一个新的张量。操作是一种直接更改给定张量的内容而。，然后利用in_place对。在PyTorch中，
Pytorch复习笔记--导出Onnx模型为动态输入和静态输入
牵一只蜗牛去散步
01-11 1万+
当使用 Pytorch 将网络导出为 Onnx 模型格式时，可以导出为动态输入和静态输入两种方式。动态输入即模型输入数据的部分维度是动态的，可以由用户在使用模型时自主设定；静态输入即模型输入数据的维度是静态的，不能够改变，当用户使用模型时只能输入指定维度的数据进行推理。在以下代码中，定义了一个网络，并使用动态导出和静态导出两种方式，将网络导出为 Onnx 模型格式。模型，其输出维度也是动态的，并且为对应关系，则表明导出的。显然，动态输入的通用性比静态输入更强。1--动态输入和静态输入。，即默认为静态输入。
PyTorch中的拷贝与就地操作详解
爱在深秋
08-31 1371
PyTroch中我们经常使用到Numpy进行数据的处理，然后再转为Tensor，但是关系到数据的更改时我们要注意方法是否是共享地址，这关系到整个网络的更新。本篇就In-palce操作，拷贝操作中的注意点进行总结。torch.detach() —新的tensor会脱离计算图，不会牵扯梯度计算torch.clone() — 新的tensor充当中间变量，会保留在计算图中，参与梯度计算（回传叠加），但是一般不会保留自身梯度。...
【onnx】——ScatterND算子
Xhlucky的博客
10-08 2326
onnx模型中有ScatterND算子。
pytorch深度学习入门（12）之-神经网络导出onnx模型部署与应用
ajunbin859的专栏
11-15 1194
TorchDynamo 引擎用于连接 Python 的框架评估 API 并将其字节码动态重写为FX 图表。生成的 FX 图表在最终转换为 ONNX 图表之前经过打磨。这种方法的主要优点是使用字节码分析捕获FX 图，从而保留模型的动态特性，而不是使用传统的静态跟踪技术。
yolov8 onnx导出，推理与输出结果的分析
weixin_41826859的博客
11-08 3003
上述代码将在train20.pt同目录文件下生成名为train20.onnx的文件。（#注：这里仅简单导出onnx，只是为了跑通流程，更过关于导出onnx的信息请参考官方文档。
pytorch2onnx
qq_36113487的博客
09-09 1万+
pytorch2onnx 最近做的项目需要把训练好的模型移植到移动端，安卓手机上，实验室选择了ncnn这个框架，所以我选择了pytoch2onnx2ncnn框架的这个思路。下面主要是记录一下pytorch转onnx模型的步骤和踩过的坑。 项目地址ONNX 定义了一种可扩展的计算图模型、一系列内置的运算单元（OP）和标准数据类型。每一个计算流图都定义为由节点组成的列表，并构建有向无环图。其中每一个节...
PyTorch 中的 In-place 操作
Warmer_Sweeter
11-13 8130
欢迎关注“小白玩转Python”，发现更多 “有趣”今天的深度神经网络有数以百万计的可训练参数，因此可以试图在免费的 GPU 上训练它们，如 Kaggle 或 Google Colab...
排序算法中In-place和Out-place是什么意思？
苏一恒
02-24 1万+
在排序算法中，我们可能会遇到In-place和Out-place in-place 占用常数内存，不占用额外内存 out-place 占用额外内存 In-place 假如问题规模是n，在解决问题过程中，只开辟了常数量的空间，与n无关，这是原址操作，就是In-place。 举个例子： /** * 冒泡排序 * @param {Array} arr 传入一个数组,按照从小到大排序 * @r...
一文掌握Pytorch-onnx-tensorrt模型转换
热门推荐
m0_38043555的博客
03-07 2万+
一文掌握Pytorch-onnx-tensorrt模型转换pytorch转onnx pytorch转onnx 对于实际部署的需求，很多时候pytorch是不满足的，所以需要转成其他模型格式来加快推理。常用的就是onnx，onnx天然支持很多框架模型的转换， 如Pytorch,tf,darknet,caffe等。而pytorch也给我们提供了对应的接口，就是torch.onnx.export。下面具体到每一步。 首先，环境和依赖：onnx包，cuda和cudnn，我用的版本号分别是1.7.0, 10.1
ONNX demo
Duino的工具箱
10-02 7979
ONNX是facebook AI部门那帮人搞出来的东西，可以方便的把pytorch定义训练好的模型转换到caffe2，然后就可以进行部署，尤其是可以部署到移动端。
模型推理时间与FPS的求取方法
deep_love1314的博客
01-20 1万+
比如你的模型推理一张图片的时间是50ms，那么计算fps的方式为： 1000ms/50ms = 20fps 注意：一定要使用ms单位！
yolov8导出onnx(一)
deep_love1314的博客
01-29 7542
yolov8导出onnx
yolov8之导出onnx（二）
deep_love1314的博客
01-29 6525
yolov8之导出onnx
yolov5-seg（实例分割）的tensorRT部署
deep_love1314的博客
10-17 2803
yolov5-seg（实例分割）的tensorRT部署
onnx中的where op
deep_love1314的博客
04-21 2451
onnx中的where op是pytorch中的什么操作产生的呢？ 试了torch.where 以及 a[mask]等操作 都没有产生。 也没搜到。 想记录学习下 。 答案：看下expand （我自己给的答案），我还没有验证
torchscript相关知识介绍（二）
deep_love1314的博客
09-06 2310
torchscript相关知识介绍（二）
densenet-12.onnx
最新发布
03-13
### DenseNet-12 模型的相关信息 DenseNet 是一种经典的卷积神经网络架构，其核心思想在于通过特征重用提高参数效率并缓解梯度消失问题。然而，在常见的公开资源中，通常提到的是 **DenseNet-121**, **DenseNet-169**, 和 **DenseNet-201** 等变体[^5]。关于 **DenseNet-12** 的具体实现或预训练模型文件较少见于主流开源平台。 如果需要获取 DenseNet-12 的 ONNX 文件，可以通过以下方法： #### 方法一：基于 PyTorch 或 TensorFlow 实现自定义导出 可以利用 PyTorch 提供的 `torch.onnx.export` 函数来生成 ONNX 文件。以下是具体的代码示例： ```python import torch from torchvision import models # 定义 DenseNet-12 结构 (假设为简化版) class DenseNet12(torch.nn.Module): def __init__(self, num_classes=1000): super(DenseNet12, self).__init__() # 自定义层结构 from torchvision.models.densenet import _Transition, _DenseBlock, DenseNet self.features = torch.nn.Sequential( torch.nn.Conv2d(3, 64, kernel_size=7, stride=2, padding=3), torch.nn.ReLU(inplace=True), torch.nn.MaxPool2d(kernel_size=3, stride=2, padding=1), _DenseBlock(num_layers=2, num_input_features=64, bn_size=4, growth_rate=32), _Transition(num_input_features=128, num_output_features=64), torch.nn.AdaptiveAvgPool2d((1, 1)) ) self.classifier = torch.nn.Linear(64, num_classes) def forward(self, x): features = self.features(x) out = torch.flatten(features, 1) out = self.classifier(out) return out model = DenseNet12() dummy_input = torch.randn(1, 3, 224, 224) # 导出为 ONNX 格式 torch.onnx.export(model, dummy_input, "densenet12.onnx", opset_version=11, input_names=["input"], output_names=["output"]) ``` 上述代码实现了一个简化的 DenseNet 架构，并将其保存为名为 `densenet12.onnx` 的文件。 #### 方法二：从现有模型裁剪得到 DenseNet-12 另一种方式是从已有的 DenseNet-121 预训练模型中提取部分层数构建新的模型。例如，可以从官方提供的 PyTorch 预训练模型加载权重，并仅保留前几层作为基础框架: ```python pretrained_model = models.densenet121(pretrained=True) custom_model = torch.nn.Sequential(*list(pretrained_model.children())[:4]) # 截取特定层 ``` 完成截断后，再按照需求调整剩余部分直至满足目标配置。 --- ### 使用 TensorRT 加速推理过程 一旦获得了 `.onnx` 文件，则可通过 NVIDIA 提供的工具链进一步优化性能表现。例如借助命令行接口执行如下操作即可获得对应的 TensorRT engine 文件: ```bash trtexec --onnx=densenet12.onnx --saveEngine=densenet12.engine --buildOnly --fp16 ``` 这一步骤能够显著提升部署环境中的计算速度与能效比[^4]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曙光_deeplove

你的鼓励是我努力的最大源泉

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值