torch.fx.proxy.TraceError: symbolically traced variables cannot be used as inputs to control flow

最新推荐文章于 2024-08-10 17:02:07 发布
最新推荐文章于 2024-08-10 17:02:07 发布
阅读量989 收藏
点赞数 3
文章标签： python 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/CheCacao/article/details/139128868
版权

我试图设计一个模型既可以输入一个数据集训练一遍，也可以输入两个数据集跑两遍，导致出现这样的错误，因为我试图用if语句分开两种情况。

但是目前symbolic_trace不支持动态控制流。动态控制流的意思是程序依赖于输入数据的循环和if条件语句。也就是说循环不可以由变量控制，因此if的条件不可以引入变量。

我只能妥协 不加if语句了

CheCacao
关注
ImportError: libcupti.so.11.7: cannot open shared object file: No such file or directory解决方案
weixin_43178406的博客
07-24 6万+
本文主要介绍了ImportError: libcupti.so.11.7: cannot open shared object file: No such file or directory解决方案，希望能对使用torch的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: module ‘torch.library‘ has no attribute ‘register_fake‘解决方案
热门推荐
weixin_43178406的博客
10-30 11万+
本文主要介绍了AttributeError: module ‘torch.library’ has no attribute 'register_fake’解决方案，希望能对使用Python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
PyTorch Python API：FX || Intro
Mr_Menace的博客
02-24 2512
FX 是针对 `torch.nn.module` 而开发的工具，其能动态地获取 model 前向传播的执行过程，以便动态地增加、删除、改动、检查运算操作。其由三个主要组件组成：符号追踪器(Symbolic Tracer)、中间表示(Intermediate Representation, IR)和 Python 代码生成。
pytorch 里面的pth格式和pkl格式之前的区别
qq_29007291的博客
12-02 2085
【MQBench源码学习】
Ashley_huo的专栏
08-10 1421
MQBench是基于PyTorch fx的一套开源的量化工具。文档：https://mqbench.readthedocs.io/en/latest/学习视频：https://www.bilibili.com/video/BV1G44y1g7i9/?
2021-10-30 用torch.fx后量化的bug记录
Treasure Ashes
10-30 2111
报错：ValueError: input model must be a GraphModule, please run torch._fx.symbolic_trace on your model before using quantize_fx. Got type:<class ‘main.EVAL’> 原因：模型中有不是graph module的部分 解决方案：提供的torch._fx.symbolic_trace来看是哪个部分出问题了： st = symbolic_trace(net.
PyTorch笔记——FX
itlilyer的博客
10-22 1793
官方文档链接：https://pytorch.org/docs/master/fx.html# 概述 FX是供开发人员用于转换nn.Module实例的工具包。FX由三个主要组件组成：符号追踪:symbolic tracer, 中间层表示:intermediate representation, Python代码生成:Python code generation。这些组件的运行演示： import torch # Simple module for demonstration class MyModule(t
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
科研学习笔记！
06-26 1万+
pytorch报错 ERROR:torch.distributed.elastic.multiprocessing.api:failed (exitcode: 1) local_rank:....
成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0； 2.00 GiB to
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-02 1万+
​ 成功解决torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 86.00 MiB (GPU 0; 2.00 GiB total capacity; 1.67 GiB already allocated; 0 bytes free; 1.67 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_s
【原创解决方案】ImportError: libcupti.so.12: cannot open shared object file: No such file or directory
weixin_44212848的博客
04-22 6438
背景：在下载 svgrender 库（https://pytorch-svgrender.readthedocs.io/en/latest/install.html）的最后一步时，遇到以下报错。
c++ 预处理器常用变量
qq_29007291的博客
12-08 253
NDEBUG _CONSOLE _CRT_SECURE_NO_WARNINGS
关于torch.fx的使用
shelgi的博客
12-18 2033
首先去查看官网docTORCH.FXnn.Module这句话很好的定义了FX的本质：用来改变module实例的一种工具。符号追踪可以捕获模块的语义进行解析;中间表示也就是IR记录了中间的操作，比如输入输出和调用的函数等；代码生成这个比较有意思，因为这是一个python-to-python的转换工具，这就从本质上区别了FX与一些AI编译器，推理库的区别。从流程上看，FX与推理库都是解析模型生成IR，然后融合算子呀优化等等，但是FX只是为了优化改变模型的功能，最终落脚点还是在python上；
pytorch 源码阅读(3)——torch.fx
哦豁灬
07-26 1485
FX 是一个供开发者用来转换 nn.Module 实例的工具包。符号跟踪器（symbolic_traced）中间表示（intermediate representation，IR）和Python 代码生成（Code generation）。"""graph():""""""add = None"""符号跟踪器对 Python 代码执行符号执行。它将称为代理的虚假值馈送到代码中。记录对这些代理的操作。中间表示是符号跟踪期间记录的操作的容器。
实践torch.fx第一篇——基于Pytorch的模型优化量化神器
算法码上来
04-13 2561
今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT本文对应第一篇，主要介绍torch.fx和基本使用方法。废话不多说，直接开始吧！什么是Torch.FXtorch.fx是Pytorch 1.8出来的一套工具或...
visual studio环境变量的配置
qq_29007291的博客
04-01 2935
转载自： Visual Studio 2008 中程序路径配置
c++多线程错误:std::thread::thread(const std::thread &)”: 尝试引用已删除的函数
qq_29007291的博客
01-24 1094
问题 “std::thread::thread(const std::thread &)”: 尝试引用已删除的函数 解决方案： https://blog.csdn.net/qiukapi/article/details/104818906
linux下python输出彩色字体
qq_29007291的博客
08-02 309
https://blog.csdn.net/zhangyixin_618/article/details/89526717
CUDA Unified Memory统一内存使用注意
qq_29007291的博客
08-02 320
https://blog.csdn.net/u013701860/article/details/51140762
model = fuse_fx(model) # 融合conv和relu 报错aise TraceError('Proxy object cannot be iterated. This can be ' "2025-03-11T21:07:14+08:00" [rank0]: torch.fx.proxy.TraceError: Proxy object cannot be iterated. This can be attempted when the Proxy is used in a loop or as a
最新发布
03-12
当你遇到错误 `"Proxy object cannot be iterated"` 时，这通常是由于你在尝试使用 Torch FX（FX 表示“Functional Transformation”，它是 PyTorch 中的一个模块，用于对模型进行图级别的变换）的过程中出现了某些不当的操作引起的。具体来说，在这个上下文中，“proxy”是一个代理对象，它代表了计算图中的某个值或操作；而当你试图遍历这样一个 proxy 对象时就会引发异常。 对于你提到的具体例子 `model = fuse_fx(model)` 导致报错的情况，可能是由于以下几个原因造成的： 1. **输入模型结构不兼容**：如果传入的 `model` 结构不符合预期的要求，则可能会导致无法正确解析并生成对应的计算图。 2. **版本冲突或其他环境问题**：确保所使用的 PyTorch 版本以及相关的依赖库是最新的，并且相互之间保持一致。 3. **代码逻辑中有不适合图形追踪的地方**：如果你在前向传播路径上有条件分支、动态控制流等难以静态分析的部分，那么也可能引起类似的问题。 为了帮助解决这个问题，请参考下面给出的一些建议和解决方案： ### 解决方案 #### 确保正确的 API 使用方式 首先确认你是按照官方文档推荐的方式去调用 `fuse_fx` 函数的。你可以通过查阅最新版 [PyTorch 文档](https://pytorch.org/docs/stable/generated/torch.fx.html) 获取更多信息。注意不同的 PyTorch 版本间可能存在差异，因此务必查看对应版本的帮助内容。 #### 示例代码调整 假设你想将卷积层与 ReLU 层融合在一起处理，可以考虑采用更为明确的方式来完成这项任务而不是直接调用 `fuse_fx`。例如利用内置函数来进行显式的模型修改： ```python import torch.nn.utils.fusion as fusion_utils class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.conv_relu_sequence = torch.nn.Sequential( torch.nn.Conv2d(in_channels=..., out_channels=..., kernel_size=(...)), torch.nn.ReLU(inplace=True), # 更多层... ) def forward(self, x): return self.conv_relu_sequence(x) def main(): model = MyModel() if isinstance(model, torch.nn.Sequential): # 或者更具体的检查机制 fused_model = [] for i in range(len(model)): m = model[i] next_m = None if (i + 1 >= len(model)) else model[i + 1] if type(m) == torch.nn.Conv2d and \ type(next_m) == torch.nn.BatchNorm2d: conv_bn_fused_layer = torch.nn.utils.fusion.fuse_conv_bn_eval(conv=m, bn=next_m) fused_model.append(conv_bn_fused_layer) if i + 1 < len(model): del model[i] # 删除已融合部分的第一个元素 break # 继续下一个批次的匹配 elif type(m) == torch.nn.Conv2d and \ type(next_m) == torch.nn.ReLU: conv_relu_fused_block = torch.nn.intrinsic.ConvReLU2d( conv=m, relu=next_m, inplace=False ) fused_model.extend([conv_relu_fused_block]) else: fused_model.append(m.clone()) model = torch.nn.Sequential(*fused_model) if __name__ == '__main__': main() ``` 以上示例展示了如何手动检测序列内的 Conv-BatchNorm 和 Conv-ReLU 组合并对它们应用相应的融合技巧。当然这只是其中一种做法，实际应用当中还需要根据具体情况做出适当调整。 #### 更新 PyTorch 及其相关包至最新稳定版本 有时升级软件栈到最新的发布版本能够修复潜在 bug 并改善功能特性。建议定期检查是否有新发布的补丁程序可供安装。 #### 检查并修正可能导致跟踪失败的因素 尽量避免编写过于复杂的条件判断或者引入不必要的动态控制流程（比如基于数据样本改变的行为）。简化代码有助于提高图构建的成功率。 ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值