使用进程池处理数据

原创

已于 2024-03-01 15:54:21 修改 · 689 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #人工智能 #python #pandas

于 2024-03-01 15:51:36 首次发布

使用进程池处理df数据，遇到了好几个坑，先上代码:

# 参数顺序要注意，最后一个参数才是迭代的行数据
def test_process(total, line):
    dayi_id = line['id']
    print(f"当前处理进度：{1}/{total}，dayi_id: {dayi_id}")


if __name__ == '__main__':
    arr = [
        {"id": 4248240, "title": "中国保险监督管理委员会陕西监管局关于中华联合财产保险股份有限公司西安中心支公司开业的批复"},
        {"id": 4248245, "title": "深圳证券交易所关于为常州科研试制中心有限公司2012年中小企业私募债券提供转让服务有关事项的通知"},
        {"id": 4248254, "title": "广东省律师协会关于组建广东省律师协会涉外法律服务讲师团的通知"},
        {"id": 4248256, "title": "湖南保监局关于熊鹰任职资格的批复"}
    ]
    df = pd.DataFrame(arr)
    # process_in_threadpool(df.iterrows(), 2, test_process, len(arr))
    # 将 DataFrame 转换为字典数组
    array_data = df.to_dict(orient='records')
    # 使用偏函数传多个参数，将函数名与参数包起来
    func = partial(test_process, len(arr))
    # processes=2 可指定进程个数
    with Pool(processes=2) as pool:
        pool.map(func, array_data)

以下是踩的坑及注意事项：
1、_pickle.PicklingError: Can't pickle <class 'pandas.core.frame