Python多进程Copy文件

最新推荐文章于 2024-12-28 13:09:57 发布

原创最新推荐文章于 2024-12-28 13:09:57 发布 · 302 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

78 篇文章

订阅专栏

本文介绍了一个Python脚本，用于实现文件夹及其内容的完整备份，并通过多线程加速复制过程。脚本首先检查目标目录的存在性，然后递归地遍历并备份所有文件。此外，还实现了使用多线程进行文件复制的功能，显著提高了备份速度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import os
import time

def readAllFiles(dirname):
    """获取指定目录的所有内容;"""
    all_files = []
    # 1. 盘顿目录是否存在?
    if os.path.exists(dirname):
        # 依次遍历目录里面的所有内容;
        for root, dirs, files in os.walk(dirname):
            for file in files:
                # 将文件的路径加入到列表中;
                all_files.append(os.path.join(root, file))

        return all_files
    else:
        print("%s 不存在" % (dirname))

print(readAllFiles('/home/kiosk/Flask_Movie_Site-master'))

在这里插入图片描述

def copyFileTask(oldDir, newDir, file):
    """备份文件和目录"""
    #把字符串中的 old（旧字符串） 替换成 new(新字符串)
    newFile = file.replace(oldDir, newDir)
    #print(newFile)
    # 假设文件所在的目录不存在, 先创建;
    newFileDirName = os.path.dirname(newFile)
    try:
        if not os.path.exists(newFileDirName):
            os.makedirs(newFileDirName)

        fr = open(file, 'rb')
        fw = open(file.replace(oldDir, newDir), 'wb')
        content = fr.read()
        fw.write(content)

        fr.close()
        fw.close()
    except Exception as e:
        print(e)
    else:
        # print("backup %s success" % (file))
        pass
#
#
def main():
    # oldDir = input("请输入备份的目录:")
    oldDir = '/home/kiosk/Flask_Movie_Site-master'
    if os.path.exists(oldDir):
        try:
            date = os.popen('date +%F').read().strip()
            newDir = oldDir + '-backup-' + date
            os.makedirs(newDir)
        except FileExistsError as e:
            print(e)
        else:
            print("备份目录%s已经创建" % (newDir))

        all_back_files = readAllFiles(oldDir)
        for file in all_back_files:
            copyFileTask(oldDir, newDir, file)

        ##多进程copy
        # from concurrent.futures import ThreadPoolExecutor
        # pool = ThreadPoolExecutor(max_workers=4)
        # all_back_files = readAllFiles(oldDir)
        #
        # for file in all_back_files:
        #     pool.submit(copyFileTask, oldDir, newDir, file)

    else:
        print("error!")
if __name__ == '__main__':
    start = time.time()
    main()
    end = time.time()
    print("run %s" % (end - start))

1.非多进程：
在这里插入图片描述
2.多进程：

##多进程copy
        from concurrent.futures import ThreadPoolExecutor
        pool = ThreadPoolExecutor(max_workers=4)
        all_back_files = readAllFiles(oldDir)

        for file in all_back_files:
            pool.submit(copyFileTask, oldDir, newDir, file)

在这里插入图片描述