pytorch_lightning与lightning.pytorch冲突报错：ValueError: Expected a parent

最新推荐文章于 2024-11-24 03:05:41 发布
最新推荐文章于 2024-11-24 03:05:41 发布
阅读量906 收藏 10
点赞数 13
CC 4.0 BY-SA版权
分类专栏： 无人驾驶 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/beiyangxiaokai/article/details/136692474
本文讨论了在使用Darts进行预测时，如何处理Optuna超参数优化与pytorch_lightning库的新旧版本冲突，提供了两种方法并强调了版本管理的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

问题描述

使用darts做时间序列预测时，使用optuna做超参数优化，调用study.optimize(objective, timeout=7200)，报错：ValueError: Expected a parent

原因

新版本的pytorch_lightning改名为lightning,在函数objective中采用了pytorch_lightning的EarlyStopping的回调函数，同时采用了from optuna.integration import PyTorchLightningPruningCallback的PyTorchLightningPruningCallback回调函数，在optuna的3.5版本中采用了lightning.pytorch来代替pytorch_lightning，因此同时存在pytorch_lightning和lightning.pytorch两个新老版本引发了冲突。

解决方式

  1. 定义OptunaPruning类替代PyTorchLightningPruningCallback，使两个版本兼容（不推荐）。
class OptunaPruning(PyTorchLightningPruningCall
最低0.47元/天 解锁文章
ts15_Forecast multiple seas_mSTL_make_subplot_rMSPE_UCM_date format_NeuralProphet_changepoint_StateS
Linli522362242的专栏
02-02 3059
ts15_Forecast multiple seasons_mSTL_make_subplots_rMSPE_UCM_date format_NeuralProphet_changepoints_State-Space_plot_components
TP、PP、DP、集群GPU卡数、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】【grad_accum_steps=gbz/(mbz*DP)】
u013250861的博客
03-24 983
【代码】TP、PP、DP、grad_accum_steps之间关系【DP=集群中GPU卡总数world_size/(TP*PP)】
Python tensorflow ValueError: Parent directory of my_test_model doesn't exist, can't save.
wukai0909的博客
08-10 1750
import tensorflow as tf w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1') w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2') saver = tf.train.Saver([w1,w2]) sess = tf.Session() ...
pytorch-lighting
aixiaomi123的博客
06-20 534
关于pytorch-lighting 的使用
【已解决】from pytorch_lightning.callbacks import Callback # noqa: E402 OSError: [WinError 127] 找不到指定的程序。
qq_35831906的博客
11-09 2115
【已解决】from pytorch_lightning.callbacks import Callback # noqa: E402 OSError: [WinError 127] 找不到指定的程序。
关于安装 PyTorch-Lightning 的问题
m0_63120362的博客
11-24 525
这里面提示我说torchmetrics1.6.0和我所安装的lightning-utilities版本不匹配，python上导入就会出现一下bug。但是此刻导入pytorch_lightning是可以运行的，为了以防万一，我把torchmetrics降级到0.7，后无报错，运行成功。
pytorch lightning报错：type object ‘Trainer‘ has no attribute ‘add_argparse_args‘
Yonggie的博客
05-01 1万+
在一些时间比较久使用了pytorch lightning的项目里面很容易出现这个。因为pytorch lightening 2.x已经不兼容1.x了。。而他们在写包的setup的时候可能只是写了pytorch lightning>=1.5.0，没写要小于多少（因为他们当时也不知道未来的某个版本是不兼容的），所以在当前时候，pip install的直接是最新版本的，导致了这个问题。
UV-Net的复现
bettle_king的博客
03-05 1078
SolidLetters数据集由96k个3D形状组成。train.txt和test.txt存的是训练和测试的标签名称，是一个字符串。
“简约版”Pytorch —— Pytorch-Lightning详解
weixin_46062098的博客
11-16 2万+
PyTorch-Lightning介绍安装实用功能Automatic Batch Size Finder - 自动获取Batch SizeAutomatic Learning Rate Finder - 自动获取初始学习率Reload DataLoaders Every Epoch - 重新加载数据Callbacks - 回调函数Weights Summary - 展示网络信息Progress Bar - 进度条Training and Eval Loops - 训练以及测试循环Training on GP
深度学习工程实践：PyTorch Lightning与Ignite框架的技术特性对比分析
deephub
11-10 5262
在深度学习框架的选择上，PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度，深入分析这两个框架在实际应用中的差异，为开发者提供客观的技术参考。
探索PyTorch Lightning：优雅而强大的深度学习框架
gitblog_00010的博客
03-19 916
探索PyTorch Lightning：优雅而强大的深度学习框架 pytorch-lightning项目地址:https://gitcode.com/gh_mirrors/pyt/pytorch-lightning PyTorch Lightning 是一个轻量级但功能强大的库，旨在简化和标准化 PyTorch 深度学习项目的开发流程。它不仅为你提供了一套高效、可扩展的工具，还保持了 PyTor...
【Pytorch】Pytorch Lightning 完全攻略
AiFool的博客
02-27 1682
Pytorch-Lightning这个库我“发现”过两次。第一次发现时，感觉它很重很难学，而且似乎自己也用不上。但是后面随着做的项目开始出现了一些稍微高阶的要求，我发现我总是不断地在相似工程代码上花费大量时间，Debug也是这些代码花的时间最多，而且渐渐产生了一个矛盾之处：如果想要更多更好的功能，如TensorBoard支持，Early Stop，LR Scheduler，分布式训练，快速测试等，代码就无可避免地变得越来越长，看起来也越来越乱，同时核心的训练逻辑也渐渐被这些工程代码盖过。
已解决ValueError: expected a simple type, a tuple or a list
努力让自己发光，对的人才能迎着光而来
12-16 1万+
已解决（Python向SqlServer数据插入数据失败）ValueError: expected a simple type, a tuple or a list
安装Pytorch-lightning不成功的可以进来
mt_lixinzeng的博客
06-09 1万+
这两天在安装Pytorch-lightning库的时候遇到了很多困难，好在终于装上了，记录一下过程，希望能帮助到遇到同样问题的人。 网上所有的帖子都是通过 pip install pytorch-lightning
pytorch_lightning和 lightning的安装问题
weixin_62894099的博客
12-02 1110
pytorch_lightning 和 lightning的安装问题
报错解决：No module named ‘pytorch_lightning‘ 安装pytorch_lightning
乔卿的博客
01-09 1万+
执行如下代码： 报错： No module named ‘pytorch_lightning’安装pytorch_lightning包即可。一般情况下，缺失的包通过pip安装，即： 然而，该指令默认安装最新版本的pytorch_lightning 2.1，在有些情况下，可能与本地环境不兼容。例如，我的Pytorch版本是1.10，但pytorch_lightning 2.1要求Pytorch版本 ≥1.12。接下来介绍安装指定版本pytorch_lightning的方式。如果你不知道该安装哪一个pytor
Pytorch-lightning的使用案例
idol24的博客
07-01 2600
点击上方“机器学习与生成对抗网络”，关注星标获取有趣、好玩的前沿干货！作者丨Caliber@知乎编辑丨极市平台来源丨https://zhuanlan.zhihu.com/p/37018...
关于安装 PyTorch-Lightning 的一些问题（GPU版）
qq_60592939的博客
02-23 3万+
关于安装PyTorch-Lightning遇到的一些问题及解决方案
Pytorch遇到的问题及解决方案 - 更新ing
热门推荐
Tsingzao的博客
01-17 5万+
1、安装完成后，不能import torch，提示 ImportError: dlopen: cannot load any more object with static TLS 解决办法：有很多答案都说是将import torch放在import cv2之前，但我试了之后还是不能解决，最后是通过在jupyter notebook中可以直接import torch。我是通过mobarxterm...
Traceback (most recent call last): File "C:\Users\31035\PycharmProjects\Generative-ABSA-main\main.py", line 10, in <module> import pytorch_lightning as pl File "C:\Anaconda\Lib\site-packages\pytorch_lightning\__init__.py", line 53, in <module> from pytorch_lightning.core import LightningModule, data_loader File "C:\Anaconda\Lib\site-packages\pytorch_lightning\core\__init__.py", line 336, in <module> from pytorch_lightning.core.decorators import data_loader File "C:\Anaconda\Lib\site-packages\pytorch_lightning\core\decorators.py", line 6, in <module> from pytorch_lightning.core.lightning import LightningModule File "C:\Anaconda\Lib\site-packages\pytorch_lightning\core\lightning.py", line 19, in <module> from pytorch_lightning.core.hooks import ModelHooks File "C:\Anaconda\Lib\site-packages\pytorch_lightning\core\hooks.py", line 7, in <module> from pytorch_lightning.utilities import move_data_to_device File "C:\Anaconda\Lib\site-packages\pytorch_lightning\utilities\__init__.py", line 4, in <module> from pytorch_lightning.utilities.apply_func import move_data_to_device File "C:\Anaconda\Lib\site-packages\pytorch_lightning\utilities\apply_func.py", line 1, in <module> from collections import Mapping, Sequence ImportError: cannot import name 'Mapping' from 'collections' (C:\Anaconda\Lib\collections\__init__.py)
最新发布
04-03
<think>嗯，用户遇到了在导入PyTorch Lightning时出现的ImportError，错误信息是“cannot import name 'Mapping' from 'collections'”。我需要先分析这个问题可能的原因。根据经验，Python 3.10之后，collections模块中的一些类被移到了collections.abc，所以如果代码中直接从collections导入Mapping，就会出错。PyTorch Lightning可能在某些版本中存在这样的问题，尤其是在较新的Python环境中。 首先，用户可能使用的是Python 3.10或更高版本，而PyTorch Lightning的某个旧版本没有适配这个变化。这时候需要检查PyTorch Lightning的版本，并考虑升级到兼容的版本。另外，用户可能没有正确安装依赖，或者存在版本冲突。解决方法可能包括升级PyTorch Lightning、降级Python版本，或者修改代码中的导入语句。 接下来，我需要验证这些解决方案的有效性。比如，升级到PyTorch Lightning 1.6.0及以上版本是否解决了这个问题。另外，如果用户无法升级，手动替换导入语句是否可行，比如将“from collections import Mapping”改为“from collections.abc import Mapping”。此外，检查Python版本是否过高，可能需要使用3.9版本来避免这个问题。 还要考虑用户的环境配置，比如是否使用了虚拟环境，是否有其他库的依赖冲突。可能需要建议用户创建一个干净的虚拟环境，重新安装最新版本的PyTorch Lightning和相关依赖。同时，提醒用户检查错误发生的具体位置，是否是第三方库的问题，可能需要等待库的更新或寻找替代方案。 最后，确保提供的步骤清晰，用户能够逐步操作，比如具体的pip安装命令，版本号的选择，以及代码修改的位置。同时，引用相关的资料，比如PyTorch Lightning的官方文档或GitHub issue，以增加解决方案的可信度。</think>### 解决方法：PyTorch Lightning ImportError 无法从 'collections' 导入 'Mapping' #### 1. 问题原因分析 该错误通常由Python版本与库的兼容性问题引起。从Python 3.10开始，标准库`collections`中的抽象基类（如`Mapping`）已迁移至`collections.abc`子模块[^1]。若使用的PyTorch Lightning版本未适配此变更，会触发此错误。 #### 2. 解决方案步骤 ##### 方法一：升级PyTorch Lightning PyTorch Lightning >=1.6.0 已修复此问题： ```bash # 升级到最新稳定版 pip install pytorch-lightning --upgrade # 或指定最小兼容版本 pip install "pytorch-lightning>=1.6.0" ``` ##### 方法二：修改Python环境 * 降级Python至3.9.x（推荐使用pyenv管理多版本）： ```bash pyenv install 3.9.18 pyenv local 3.9.18 ``` * 或添加代码补丁（临时方案）： ```python # 在导入PyTorch Lightning前添加 import collections if not hasattr(collections, 'Mapping'): collections.Mapping = collections.abc.Mapping ``` ##### 方法三：检查依赖冲突 ```bash # 创建干净虚拟环境 python -m venv lightning_env source lightning_env/bin/activate # Linux/macOS lightning_env\Scripts\activate # Windows # 重新安装最新版本 pip install torch pytorch-lightning ``` #### 3. 验证修复 ```python import pytorch_lightning as pl print(pl.__version__) # 应显示>=1.6.0 ``` #### 4. 特殊情况处理 若错误来自其他依赖库（如transformers），需同时升级相关库： ```bash pip install transformers --upgrade ```
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值