多进程写入数据问题

photographyCat

于 2021-09-16 16:37:21 发布

阅读量196

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 文章标签： python

本文链接：https://blog.youkuaiyun.com/lx529068450/article/details/120332034

本文探讨了在Python环境中，使用多进程进行数据写入时可能遇到的问题及解决方案，包括进程同步、文件锁和数据一致性等关键点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#Pool方法

from multiprocessing import Process, Queue, Pool
import os, time, random
import pandas as pd


def write(q):
    fict = {
   
   'name': '213', 'age': 2, 'gender': '213'}
    return fic


def mycallback(res):
	#callback函数里，拿到全局变量才行
    global data
    data = data.append(res, ignore_index=True)


data = pd.DataFrame({
   
   'name':['wencky'