[已解决]TypeError: cannot pickle ‘_io.BufferedReader‘ object

原创 已于 2023-12-09 21:29:52 修改 · 1.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

于 2023-12-09 20:17:09 首次发布

学习python多进程multiprocessing时发现的报错

if __name__ == '__main__':
    myconn = ConnMysql()
    table_name = "student_test_1"
    myconn.create_table(table_name)

    createdata = CreateData()

    list = []
    for i in range(0, 1000000):
        list.append
最低0.47元/天 解锁文章
pyflink1.18.0 报错 TypeError: cannot pickle ‘_thread.lock‘ object
yy的博客
03-15 844
1 放到 jobmanager初始化后 taskmanager拉一遍。2 起个单独的http服务供pyflink调用。
TypeError: AsyncConnectionPool.__init__() got an unexpected keyword argument ‘socket_options‘解决方案
热门推荐
weixin_43178406的博客
12-13 5万+
本文主要介绍了TypeError: AsyncConnectionPool.__init__() got an unexpected keyword argument ‘socket_options’ 解决方案，希望能对使用stable diffusion的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
TypeError: cannot pickle ‘_io.BufferedReader‘ object
TheHonestBob的博客
08-31 6320
一、报错背景 最近做TTS时写数据预处理代码的时候，使用到了multiprocessing.Pool方法，即python自带的进程池方法，故此遇到这个报错。 二、报错原因 后来在简书的一位大佬的文章中找到原因，是由于我是在类中的某个方法调用的multiprocessing.Pool，一般都不会有问题，但是由于我的这个类的__init__初始化类属性的时候有一个g2p_en库进行了初始，报错所说的不能序列化的对象就是指__init__函数里面的某个类属性，后来我测试了logging模块、和生成器都不能在__i
python使用多进程报错TypeError: cannot pickle ‘_io.BufferedReader‘ object
weixin_43487849的博客
11-29 5121
python使用多进程报错TypeError: cannot pickle '_io.BufferedReader' object 在使用mutiprocess模块时，报错TypeError: cannot pickle ‘_io.BufferedReader’ object，将p.start()改为p.run即可。
'TypeError("canno t serialize '_io.BufferedReader' object",)
qq_36415775的博客
09-19 1276
在使用python多进程中遇到的问题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导...
cannot serialize _io.BufferedReader object问题总结反思
Wzzzx的博客
10-21 1万+
照例先上代码。这份代码跟我的爬虫代码犯了一样的错。class Text: def __init__(self): self.num = 10 def Start(self): read = Process(target = self.read) write = Process(target = self.write) rea
tkinter多进程报错TypeError: cannot pickle ‘_tkinter.tkapp‘ object eof error ran out of input
HPU WIN
08-08 2172
我错误的原因是因为第一个报错已经指明了:python不能pickle tkinter object, 导致了整个错误。就好了，另外也要注意在win中运行python多进程程序时要加上。
多进程 报错 TypeError: cannot pickle ‘_thread.lock‘ object
shawshank_bingo的博客
04-26 2362
调试websocket对象用协程，线程都无法两者都运行，因此使用多线程，多线程也有报错 TypeError: cannot pickle ‘_thread.lock’ object。可以在ws_utils对象中创建全局变量redis，而不直接传redis对象，而传redis配置（或者直接从配置文件读取）部分。根据晚上查找资料说是在开启进程，会将信息序列化后传递到子进程，报错就是在信息进行序列化时候。猜测是上面ws_utils对象进行序列化问题，比较容易猜测，redis对象序列化存在问题。
python中关于TypeError: can't pickle instancemethod objects的错误解决方案
qq_43654142的博客
08-27 1945
python中关于TypeError: can’t pickle instancemethod objects的错误解决方案 在本人关于多进程下运行类方法一文中有遇到上述错误，通过相关搜索了解到，可能是我们在实例化多进程对象的过程中，实例化对象的某些属性没有办法序列化导致。下面通过具体的代码进行实例化对象是否存在不能序列化现象的验证。 首先在类中定义如下的方法： def __getstate_...
TypeError: cannot pickle ‘_io.TextIOWrapper‘ object multiprocessing调用pexpect
z2498249的博客
11-19 2663
pexcet和multiprocess一起使用时报错
Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object
Irving.Gao的博客
02-22 1915
【代码】Python——multiprocessing报错：TypeError: cannot pickle ‘_thread.lock‘ object。
python3使用pickle读取文件提示TypeError或者UnicodeDecodeError的解决办法
oo笨小孩oo的专栏
03-27 2万+
python3使用pickle读取文件提示TypeError: ‘str’ does not support the buffer interface或者UnicodeDecodeError: ‘ascii’ codec can’t decode byte 0xe8 in position的解决办法。python2使用的是cPickle模块，而在python3中cPickle已经被取消，取而代之的是pickle模块。
Python使用pickle报错：TypeError: a bytes-like object is required, not ‘str‘
qq_41487723的博客
07-28 983
1、错误 2、原因 ①“类型错误：需要类似字节的对象，而不是字符串” ②这是跑别人的代码，人家用的环境是python2，我用的是python3，在写法上有一定的区别 3、解决 将 with open('../infos/prior.pickle') as fp: priors = pickle.load(fp) 修改为 with open('../infos/prior.pickle', 'rb') as fp: priors = pickle.load(fp,encoding='bytes') 附：
解决：“TypeError: h5py objects cannot be pickled”报错问题和“EOFError: Ran out of input”报错问题（简单粗暴！！！有效！！）
weixin_45325693的博客
07-10 1643
解决：“TypeError: h5py objects cannot be pickled”报错问题和“EOFError: Ran out of input”报错问题（简单粗暴！！！有效！！）
python多进程问题的思考
qq_35235032的博客
03-22 470
def fun(produceQueue, key, consumerQueue): if not produceQueue.empty(): args = produceQueue.get() else: raise Exception("produce queue is empty!") ...
彻底解决python多进程can‘t pickle问题
七哥地盘
10-05 3万+
通过绕开序列化，避免出现can't pickle报错
python3编写服务器时出现"io.BufferedReader' object has no attribute 'decode'的错误解决办法
长风
02-22 1万+
问题描述：python3编写服务器时出现"io.BufferedReader' object has no attribute 'decode'报错 笔者最近学习Web服务器编程的相关知识，在编写一个静态文件的Web服务器代码时总是遇到题目中所述bug，导致本地测试时总是有问题。困扰了一天，分享这个问题的解决方法，希望能给遇到这个问题的其他小伙伴提供思路。具体情况是，在编写一个静态web时，通过...
TypeError: cannot pickle '_io.TextIOWrapper' object
最新发布
03-15
<think>好的，我现在需要解决用户在Python多进程编程中遇到的TypeError: cannot pickle '_io.TextIOWrapper' object错误。这个问题通常出现在使用multiprocessing模块时，尝试序列化无法被pickle的对象，比如文件对象。我需要先理解错误的原因，然后给出解决方案。 首先，用户提到的错误信息提到'_io.TextIOWrapper'对象无法被pickle。我记得pickle是Python用来序列化对象的模块，而multiprocessing在创建子进程时，会使用pickle来传递数据。如果传递的对象包含不能被序列化的内容，比如打开的文件句柄，就会导致这个错误。 接下来，我需要查阅用户提供的引用内容。引用[1]和[4]提到类似的错误，涉及'_io.BufferedReader'，而引用[2]、[3]则是关于'_io.TextIOWrapper'。这些都属于文件对象，无法被pickle序列化。用户可能在多进程代码中传递了这些文件对象，导致错误。 解决方案方面，首先应该避免在子进程中直接传递文件对象。可能的解决方法包括： 1. 在创建子进程之前打开文件，或者在子进程中重新打开文件。因为文件对象无法被序列化，所以不能在进程间直接传递。用户应该在主进程处理文件操作，或者在子进程内部打开文件。 2. 将文件路径作为参数传递给子进程函数，然后在子进程内部打开文件。这样传递的是字符串路径，而非文件对象，可以避免序列化问题。 3. 使用其他进程间通信方式，如multiprocessing.Queue或Pipe，来传递数据，而不是传递文件对象。 此外，还需要检查代码中是否有其他不可序列化的对象被传递，比如数据库连接、网络套接字等。这些都需要类似的处理方式，即在子进程中重新创建，而不是从主进程传递。 可能还需要考虑代码结构，比如使用全局变量是否会导致问题，或者在类的方法中使用多进程时，是否需要将对象实例序列化，这同样可能引发错误。 最后，建议用户在修复代码后进行测试，确保文件操作在子进程中正确执行，同时注意资源管理，比如及时关闭文件，避免资源泄漏。</think>### 解决方案：Python多进程编程中“TypeError: cannot pickle '_io.TextIOWrapper' object”问题 #### 问题原因 该错误源于Python的`multiprocessing`模块在创建子进程时，需要将主进程的数据通过`pickle`序列化后传递给子进程。**文件对象（如`_io.TextIOWrapper`或`_io.BufferedReader`）无法被序列化**，因此在传递包含文件对象的变量时会触发此错误[^3][^4]。 --- #### 解决步骤 1. **避免传递文件对象** - **错误示例**： ```python import multiprocessing def process_file(file): print(file.read()) # 传递了文件对象 if __name__ == '__main__': with open('data.txt', 'r') as f: p = multiprocessing.Process(target=process_file, args=(f,)) p.start() ``` - **修复方法**：传递文件路径（字符串），在子进程中重新打开文件： ```python def process_file(file_path): with open(file_path, 'r') as f: # 子进程内重新打开文件 print(f.read()) if __name__ == '__main__': p = multiprocessing.Process(target=process_file, args=('data.txt',)) p.start() ``` 2. **关闭主进程中的文件资源** - 确保主进程中的文件对象在子进程启动前已关闭： ```python if __name__ == '__main__': file_path = 'data.txt' with open(file_path, 'r') as f: # 主进程读取后自动关闭 data = f.read() # 仅传递数据，而非文件对象 p = multiprocessing.Process(target=process_data, args=(data,)) p.start() ``` 3. **使用进程池时的特殊处理** - 若使用`multiprocessing.Pool`，需通过`initializer`参数初始化资源： ```python def init_process(file_path): global file file = open(file_path, 'r') # 子进程初始化时打开文件 def process_line(line): return len(line) if __name__ == '__main__': with multiprocessing.Pool(initializer=init_process, initargs=('data.txt',)) as pool: results = pool.map(process_line, file) ``` --- #### 关键原则 - **仅传递可序列化数据**：如字符串、数字、列表、字典。 - **避免传递资源句柄**：包括文件、数据库连接、网络套接字等[^1][^3]。 - **子进程内管理资源**：在子进程中打开/关闭文件，避免跨进程传递。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值