进程5 案例：文件夹copy器（多进程版）

最新推荐文章于 2022-05-01 12:28:57 发布

原创最新推荐文章于 2022-05-01 12:28:57 发布 · 205 阅读

0 ·

CC 4.0 BY-SA版权

进程专栏收录该内容

3 篇文章

订阅专栏

本文介绍了一种使用Python的os和multiprocessing模块实现多进程文件夹拷贝的方法。通过创建进程池，将文件拷贝任务分配给多个进程并行处理，提高了文件拷贝效率。文章详细讲解了实现步骤，包括获取文件夹名、列出文件、创建新文件夹、创建进程池、创建队列、添加拷贝任务以及进度显示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

拷贝1个文件，我们前面实现过。

过程是：打开文件读出数据data存储，
然后打开另外一个文件写入数据data
就完成了一个文件的拷贝。

试想一个文件夹的拷贝又是怎么样的

首先拷贝一个文件夹，有未知文件数。
所以用多任务拷贝，进程池循环来拷贝

导入模块os,multiprocessing
第一步：获取要拷贝的文件夹名字
第二步：获取文件夹中所有要复制的文件名字
第三步：创建一个新的文件夹
第四步：创建进程池
第五步：创建队列
第六步：向进程池中添加复制文件的任务
第七步：复制完从队列中依次输出

导入模块os,multiprocessing

os用来提取文件夹中所有文件名，mutiprocessing用来创建进程池，队列

import os
import multiprocessing

第一步：获取要拷贝的文件夹名字

old_folder_name = input("请输入要copy的文件夹的名字：")

第二步：获取文件夹中所有要复制的文件名字

 file_names = os.listdir(old_folder_name)

第三步：创建一个新的文件夹

创建一个新的文件夹，如果有就不创建

try:
  	new_folder_name = old_folder_name + "[附件]"
    os.mkdir(new_folder_name)
except:
    pass

第四步：创建进程池

其中的进程完成复制的任务

 po = multiprocessing.Pool(5)

第五步：创建队列

队列通信完成主进程显示进度

q = multiprocessing.Manager().Queue()

第六步：向进程池中添加复制文件的任务

for file_name in file_names:
    po.apply_async(copy_file,args=(q,file_name,old_folder_name,new_folder_name))

第七步：复制完从队列中依次输出

count =0
all_number = len(file_names)
while True:
    if count<all_number:
        file_name = q.get()
        count += 1
        print ("已经完成了%.2f %%" % (count*100/all_number))
    else:
        break

复制文件的方法

把此方法调入到进程池中进行

def copy_file(q,file_name,old_folder_name,new_folder_name):
    """完成文件的复制"""
    old_f = open(old_folder_name + "/" + file_name, "rb")
    content = old_f.read()
    old_f.close()

    new_f = open(new_folder_name + "/" + file_name, "wb")
    new_f.write(content)
    new_f.close()

    #如果拷贝完了文件，向队列中写入一个消息，表示已经完成
    q.put(file_name)

总代码:

import os
import multiprocessing


def copy_file(q,file_name,old_folder_name,new_folder_name):
    """完成文件的复制"""
    old_f = open(old_folder_name + "/" + file_name, "rb")
    content = old_f.read()
    old_f.close()

    new_f = open(new_folder_name + "/" + file_name, "wb")
    new_f.write(content)
    new_f.close()

    #如果拷贝完了文件，向队列中写入一个消息，表示已经完成
    q.put(file_name)

def main():
    # 1.获取用户要copy的文件夹的名字
    old_folder_name = input("请输入要copy的文件夹的名字：")

    # 2.创建一个新的文件夹
    try:
        new_folder_name = old_folder_name + "[附件]"
        os.mkdir(new_folder_name)
    except:
        pass

    # 3.获取文件夹中所有的待copy的文件名字  listdir()
    file_names = os.listdir(old_folder_name)

    # 4.创建进程池 主要负责复制文件
    po = multiprocessing.Pool(5)

    # 5.创建一个队列
    q = multiprocessing.Manager().Queue()

    # 6.向进程池中添加copy文件的任务
    for file_name in file_names:
        po.apply_async(copy_file,args=(q,file_name,old_folder_name,new_folder_name))

    po.close()
    count =0
    all_number = len(file_names)
    while True:
        if count<all_number:
            file_name = q.get()
            count += 1
            print ("已经完成了%.2f %%" % (count*100/all_number))
        else:
            break


if __name__ == '__main__':
    main()