报错： AttributeError: Can‘t pickle local object ‘trainer_synapse.＜locals＞.worker_init_fn‘

小小小MaYi

已于 2022-03-22 11:53:50 修改

阅读量5.2k

点赞数 41

文章标签：深度学习人工智能 pytorch pycharm

于 2022-03-13 16:05:14 首次发布

本文链接：https://blog.youkuaiyun.com/qq_37652891/article/details/123460932

版权

***************************************************

码字不易，收藏之余，别忘了给我点个赞吧！

***************************************************

---------Start

AttributeError: Can’t pickle local object ‘trainer_synapse..worker_init_fn’

解决方案：
DataLoader的参数num_workers设置为0。

    trainloader = DataLoader(db_train, batch_size=batch_size, shuffle=True, num_workers=0, pin_memory=True,
                             worker_init_fn=worker_init_fn)

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小小小MaYi

关注关注

41
点赞
踩
27

收藏

觉得还不错? 一键收藏
5
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Can‘t pickle local object ‘get_transforms.＜locals＞.process‘

jacke121的专栏

10-17

5474

Can't pickle local object 'get_transforms.<locals>.process' 网上的答案： AttributeError: Can't pickle local object 'get_transform.<locals>.<lambda>' 还是这个错.. pytorch直接把num_workers 改成0就可以不用多线程了....之前tensorflow这样子不可以参考：https://blog.csdn...

解决python多线程报错:AttributeError: Can't pickle local object问题

09-17

主要介绍了解决python多线程报错:AttributeError: Can't pickle local object问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

5 条评论您还未登录，请先登录后发表或查看评论

dataloader AttributeError: Can‘t pickle local object ‘trainer_synapse.＜locals＞.worker_init_fn‘

weixin_42429262的博客

07-12

1536

就是dataloader的num_worker的问题，改0即可

TransUNet训练报错：AttributeError: Can‘t pickle local object ‘trainer_synapse.＜locals＞.worker_init_fn’

热门推荐

qq_39314099的博客

11-07

6万+

今天意外的发现了python装饰器和多进程之间的一个小坑，起初简单写了一个装饰器，用来给程序计时，自测了下没有什么问题 def times_used(*dargs): def time_(f): def count_time(*args, **kw): start = datetime.datetime.now() pr...

AttributeError: Can‘t pickle local object ‘get_scheduler.＜locals＞.＜lambda＞‘

weixin_48915167的博客

12-09

783

pytorch lightning设置优化器的学习率调整策略为LambdaLR时，训练一轮后出现如下报错。pickle无法处理不带有名字的lambda匿名返回值，需要用变量存储后再传入。将代码的匿名函数传入改为用变量存储的具名函数传入。

解决python多线程报错:AttributeError: Cant pickle local object问题

01-20

报错信息： Traceback (most recent call last): File “D:/flaskProject/test.py”, line 35, in test pool.apply(self.out, args=(i,)) File “Python37-32\lib\multiprocessing\pool.py”, line 261, in apply ...

【Centernet复现】AttributeError:Can‘t pickle local object ‘get_dataset.＜locals＞.Dataset

大道至简

04-28

2301

一、错误描述 AttributeError:Can't pickle local object 'get_dataset.<locals>.Dataset 二、解决办法把涉及到numworks的值都改为0。 opts.py文件里的参数num_workers默认值改为0。 main.py文件里num_workers的值改为0。 val_loader = torch.utils.data.DataLoader( Dataset(opt, 'val'), batch_

Can't pickle local object

Hope^_^

05-05

5375

python3，windows 把 import pickle 改成 import dill as pickle

Can‘t pickle local object ‘data.numerize.＜locals＞.＜lambda＞‘

csdn_wmk的博客

10-28

808

困扰了好久，记录一下。报错原因是由于pickle dump 不能dump 带lambda的对象例如代码： def numerize(self, data, user2id, item2id): user_id = map(lambda x: user2id[x], data['user_id']) item_id = map(lambda x: item2id[x], data['item_id']) pickle.dump(user_reviews, open(os

详解Can‘t pickle local object ‘get_transforms.＜locals＞.process‘

牛肉胡辣汤

01-20

1600

然而，局部函数是在包含它们的函数内部定义的，它们的作用范围被限定在包含函数内部。通过自定义数据处理函数和数据转换类，我们将局部函数提取到了包级别，并且确保了自定义数据处理的顺利进行。既然是局部函数的作用范围仅限于包含它们的函数内部，我们可以将这些函数定义在包级别，以便在整个代码中都能够访问到它们。它是一种特殊的函数，没有函数名，可以被直接传递给其他函数或方法作为参数，在函数式编程中得到广泛应用。Lambda函数是一种匿名函数，可以在需要的地方定义，并且是一个可序列化的对象。来替代原有的局部函数。

报错Can‘t pickle local object ‘get_dataset.＜locals＞.＜lambda＞‘

weixin_60401853的博客

09-18

1844

报错Can't pickle local object 'get_dataset..'

Python错误解读：无法pickle本地对象‘CDLL.__init__. ＜locals＞ ._FuncPtr‘

03-29

1191

Python错误解读：无法pickle本地对象’CDLL.当您在使用Python编写代码时，有时候会遇到一些奇怪的错误信息。在这篇文章中，我们将探讨一个常见的错误：“Can’t pickle local object ‘CDLL..._FuncPtr’”以及如何解决它。

AttributeError: Can‘t pickle local object ‘train.＜locals＞.collate_fn‘

x1259135340的专栏

05-17

513

解决：AttributeError: Can't pickle local object 'train.<locals>.collate_fn' 加载数据加载器参数导致，num_workers= 4导致, 不能使用多个线程运行，只能num_workers=0。

AttributeError: Can‘t pickle local object 的解决方法

m0_66977257的博客

03-11

2445

一次不断试错中解决Bug的经历

使用pytorch时，遇到Can‘t pickle local object ‘xxx.＜locals＞.＜lamba＞‘的问题，注释有关部分有EOFError: Ran out of input问题

Salvator_的博客

01-16

1960

而主进程fock子进程时，通过将上下文(context)转化为pickle对象，传递给子进程。问题就出在这里，不是任何对象都可以进行pickle操作，具体可见pickled。pickle可以将python对象转化为字节流，该字节流可以存储为文件，或用于通信，https://ask.csdn.net/questions/7711861，如图。搜索该函数的有关内容，找到了一个类似的错误求助，其中解决方法。最后运行成功了，具体工作原理尚不清楚，仅作纠错记录。直接按照报错信息查网上，有许多可能的解答，有。

AttributeError: Can't pickle local object 'trainer_synapse.<locals>.worker_init_fn'

05-25

这个错误通常意味着您尝试 pickle 一个不能被序列化的本地对象。在这种情况下，问题可能是您的 `trainer_synapse` 中的 `worker_init_fn` 函数使用了一些本地变量，这些变量不能被序列化。为了解决这个问题，您可以尝试将 `worker_init_fn` 函数中的本地变量删除或者将其定义为全局变量。这样就可以确保 `worker_init_fn` 函数中不会有任何本地变量，可以正确地序列化和反序列化。另一种可能的解决方法是使用 `dill` 库而不是默认的 `pickle` 库。`dill` 库支持更广泛的序列化，可以序列化更多类型的对象，包括本地函数和闭包。您可以使用以下命令安装 `dill` 库： ``` pip install dill ``` 然后在代码中导入 `dill` 库，使用 `dill` 库的 `dump` 和 `load` 函数来序列化和反序列化对象。例如，您可以这样使用 `dill` 库来序列化和保存 `trainer_synapse` 对象： ``` import dill # Serialize trainer_synapse object with open('trainer_synapse.pkl', 'wb') as f: dill.dump(trainer_synapse, f) # Load trainer_synapse object from file with open('trainer_synapse.pkl', 'rb') as f: trainer_synapse = dill.load(f) ``` 这样就可以避免 `pickle` 库无法序列化本地对象的问题。