Python - 多进程拷贝文件并显示百分比

centos7下查看cup核数：
 

# 总核数 = 物理CPU个数 X 每颗物理CPU的核数 
# 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数


# 查看物理CPU个数
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l


# 查看每个物理CPU中core的个数(即核数)
cat /proc/cpuinfo| grep "cpu cores"| uniq


# 查看逻辑CPU的个数
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷贝文件采用的是最简单的但是有最复杂的方式：

  1，根据要拷贝的文件夹名称，创建一个新的文件夹用来存储文件

  2，读取源文件夹下的文件内容，将其写入目的文件夹下同名的文件中

直接上代码：

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time

def copyFileTask(name, oldFolderName, newFolderName, queue):
    """copy文件"""
    fr = open(oldFolderName+"/"+name)
    fw = open(newFolderName+"/"+name, "w")

    content = fr.read()
    fw.write(content)

    fr.close()
    fw.close()

    # 将copy完成的文件名称put进队列
    queue.put(name)


def main():
    try:
        # 0. 获取要copy的文件夹
        # oldFolderName = input("请输入文件夹的名字：")  # python3
        oldFolderName = raw_input("请输入文件夹的名字：")  # python2

        # 1. 创建一个新的文件夹
        print 'mkdir new file ------'
        newFolderName = str(oldFolderName) + "-copy"
        # print(newFolderName)
        os.mkdir(newFolderName)

        # 2. 获取old文件夹中的所有的文件名字
        fileNames = os.listdir(oldFolderName)
        # print(fileNames)

        # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
        pool = Pool(5)
        # 创建一个队列
        queue = Manager().Queue()

        for name in fileNames:
            pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))

        pool.close()  # 关闭进程池，不再接受请求
        pool.join()  # 等待所有的子进程结束

        num = 0
        # 需要copy的文件总数
        allNum = len(fileNames)
        while num < allNum:
            # 收数据
            queue.get()
            num += 1
            copyRate = float(num) / allNum
            # 打印copy的进度
            time.sleep(0.1)  # 容易看出来打印百分比的变化，延长百分比更新的时间
            print "\rcopy的进度是:%.2f%%" % (copyRate*100),

        print "\ncopy success ------"
    except:
        traceback.print_exc()

if __name__ == "__main__":
    main()

下面采用python模块shutil模块进行copy操作：

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil

def copyFileTask(name, old_path, new_path, queue):
    """copy文件"""
    src_path = os.path.join(old_path, name)
    dst_path = os.path.join(new_path, name)
    shutil.copy(src_path, dst_path)  # 拷贝文件
    # shitil.move(src_path, dst_path)  # 移动文件

    # 将copy完成的文件名称put进队列
    queue.put(name)


def main():
    try:
        # 0. 获取要copy的文件夹
        oldFolderName = raw_input("请输入文件夹的名字：")
        print '要拷贝的源文件夹： ', oldFolderName

        # 1. 创建一个新的文件夹
        newFolderName = raw_input("请输入文件夹的名字：")
        print '目标文件夹：', newFolderName

        # 获取当前所在的路径
        now_path = os.getcwd()
        print "当前所在路径： ", now_path
        old_path = os.path.join(now_path, oldFolderName)
        print '源文件夹路径： ', old_path
        new_path = os.path.join(now_path, newFolderName)
        print '目标文件夹路径： ', new_path
        if not os.path.exists(new_path):
            os.mkdir(new_path)

        # 3. 使用多进程的方式copy 原文件夹中的所有文件到新的文件夹中
        pool = Pool(5)  # 创建5条进程

        queue = Manager().Queue()  # 创建一个队列

        # 遍历源文件夹
        for root, dirs, files in os.walk(oldFolderName):
            """
            root 所指的是当前正在遍历的这个文件夹的本身的地址
            dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
            files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
            """
            print '源文件夹下的文件数量:：', len(files)
            s_t = time.time()
            for file in files:
                pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue))  # 向进程池中添加任务

            pool.close()  # 关闭进程池，不再接受请求
            pool.join()  # 等待所有的子进程结束
            print '耗时：{} 秒'.format(time.time() - s_t)

            num = 0
            # 需要copy的文件总数
            allNum = len(files)
            print 'len(fileNames) = ', allNum
            while True:
                # 收数据
                # print '收数据 ------'
                queue.get()
                # print 'queue.get() ------', queue.get()
                num += 1
                copyRate = float(num) / allNum
                # 打印copy的进度
                print "\rcopy的进度是:%.2f%%" % (copyRate*100),
                if num == allNum:
                    break

        print "\ncopy success ------"
    except:
        traceback.print_exc()

if __name__ == "__main__":
    main()

输出：（由于我的cup核数为1核，在使用多进程的过程中，操作系统在轮询的时候，频繁的切换任务，浪费时间导致多进程比单进程耗时更长。）

[root@centos7 mnt]# python copy_file_test.py 
请输入文件夹的名字：hdfs
要拷贝的源文件夹：  hdfs
请输入文件夹的名字：test01
目标文件夹： test01
当前所在路径：  /mnt
源文件夹路径：  /mnt/hdfs
目标文件夹路径：  /mnt/test01
源文件夹下的文件数量:： 8165
耗时：253.655323982 秒
len(fileNames) =  8165
copy的进度是:100.00% 
copy success ------

单进程拷贝文件：

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil

def copyFileTask(name, old_path, new_path, queue):
    """copy文件"""
    src_path = os.path.join(old_path, name)
    dst_path = os.path.join(new_path, name)
    shutil.copy(src_path, dst_path)  # 拷贝文件
    # shitil.move(src_path, dst_path)  # 移动文件

    # 将copy完成的文件名称put进队列
    queue.put(name)


def main():
    try:
        # 0. 获取要copy的文件夹
        oldFolderName = raw_input("请输入文件夹的名字：")
        print '要拷贝的源文件夹： ', oldFolderName

        # 1. 创建一个新的文件夹
        newFolderName = raw_input("请输入文件夹的名字：")
        print '目标文件夹：', newFolderName

        # 获取当前所在的路径
        now_path = os.getcwd()
        print "当前所在路径： ", now_path
        old_path = os.path.join(now_path, oldFolderName)
        print '源文件夹路径： ', old_path
        new_path = os.path.join(now_path, newFolderName)
        print '目标文件夹路径： ', new_path
        if not os.path.exists(new_path):
            os.mkdir(new_path)

        queue = Queue()  # 创建一个队列

        # 遍历源文件夹
        for root, dirs, files in os.walk(oldFolderName):
            """
            root 所指的是当前正在遍历的这个文件夹的本身的地址
            dirs 是一个 list ，内容是该文件夹中所有的目录的名字(不包括子目录)
            files 同样是 list , 内容是该文件夹中所有的文件(不包括子目录)
            """
            print '源文件夹下的文件数量:：', len(files)
            s_t = time.time()
            # 调用函数拷贝文件
            for file in files:
                copyFileTask(file, old_path, new_path, queue)
            print '耗时：{} 秒'.format(time.time() - s_t)

            num = 0
            # 需要copy的文件总数
            allNum = len(files)
            print 'len(fileNames) = ', allNum
            while True:
                # 收数据
                # print '收数据 ------'
                queue.get()
                # print 'queue.get() ------', queue.get()
                num += 1
                copyRate = float(num) / allNum
                # 打印copy的进度
                print "\rcopy的进度是:%.2f%%" % (copyRate*100),
                if num == allNum:
                    break

        print "\ncopy success ------"
    except:
        traceback.print_exc()

if __name__ == "__main__":
    main()

输出：

[root@centos7 mnt]# python copy_file_test_dan.py 
请输入文件夹的名字：hdfs
要拷贝的源文件夹：  hdfs
请输入文件夹的名字：test02
目标文件夹： test02
当前所在路径：  /mnt
源文件夹路径：  /mnt/hdfs
目标文件夹路径：  /mnt/test02
源文件夹下的文件数量:： 8165
耗时：122.284090996 秒
len(fileNames) =  8165
copy的进度是:100.00% 
copy success ------

我的虚拟机cpu核数：1

如下：

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores	: 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1