Python: joblib.Parallel method in a class 'TypeError : can't pickle instancementhod objects'

最新推荐文章于 2025-02-06 15:28:27 发布

原创最新推荐文章于 2025-02-06 15:28:27 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#python #joblibs #parallel

其他专栏收录该内容

9 篇文章

订阅专栏

本文探讨了使用joblib库进行并行处理时常见的TypeError: can't pickle instance method objects错误。详细介绍了在类方法中使用joblib.Parallel的正确姿势，并解释了为什么类方法不能直接被并行调用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用joblib.Parallel并行处理数据是出现TypeError : can’t pickle instancementhod objects 错误

首先是一段函数调用的实现：

import joblib
import numpy as np

def load_data(K, T):
    return K+T

jobs = 8

Ts = np.repeat(np.array([1]),  jobs, axis=0)
Ks = np.repeat(np.array([1]),  jobs, axis=0)

with joblib.Parallel(n_jobs=jobs) as parallel:
    outpout = parallel(joblib.delayed(load_data)(k, s)
                        for k, s in zip(Ks, Ts))
print(output)

这段代码是没有问题的输出 [5, 5, 5, 5, 5, 5, 5, 5]

但是如果在类中进行处理，如下所示：

import joblib
import numpy as np

class testParallel:
    def load_data(self, K, T):
        return K+T

    del run(self):
        jobs = 8

        Ts = np.repeat(np.array([1]),  jobs, axis=0)
        Ks = np.repeat(np.array([1]),  jobs, axis=0)

        with joblib.Parallel(n_jobs=jobs) as parallel:
            outpout = parallel(joblib.delayed(load_data)(k, s)
                                for k, s in zip(Ks, Ts))

这样就会出现：TypeError : can’t pickle instancementhod objects错误。这种bug出现的方式是自己找出来的，最后在一篇博客中看到，第一种方法为解决使用joblib和Multiprocessing基于pickling实现并行处理的方法，并且解释了其出现的原因。

为了pickle一个object，object必须是一个全局的变量，这才才可以使unpickle通过（PS：pickle存取结构化的数据）。如果在类中，输出的参数为以下类型:

[('self', 0), ('self', 1), ('self', 2), ('self', 3), ('self', 4), ('self', 5), ('self', 6), ('self', 7), ('self', 8), ('self', 9)]

因此需要在类外对函数进行定义。