Python3的大文件分片下载（asyncio协程版）

最新推荐文章于 2025-05-27 11:00:57 发布

原创

最新推荐文章于 2025-05-27 11:00:57 发布 · 913 阅读

1 ·

CC 4.0 BY-SA版权

本篇博客介绍了一个使用Python3实现的大文件分片下载程序。该程序通过异步IO技术，能够将大文件分割成多个片段进行并发下载，并在下载完成后合并成完整文件。代码中详细展示了如何利用aiohttp进行网络请求，以及如何管理和合并临时文件。

Python3的大文件分片下载

源代码

源代码

import asyncio
import aiohttp
from tqdm import tqdm
import os

class bigfile_download:
    def __init__(self, session, url, tmp_path='./down_cache', proxy=None, file_fragment_size = 1024 * 1024 * 2):
        self.url = url
        self.session   = session
        self.proxy     = proxy
        self.filename  = url.split('/')[-1]        
        self.mtd_list  = []
        self.tmp_path  = tmp_path
        self.file_fragment_size = file_fragment_size
        
        self.__mkdir(tmp_path)

    def __mkdir(self, path):
        isExists=os.path.exists(path)
        if not isExists:
            os.makedirs(path) 
            print(path+' 创建成功')
            return True
        else:
            print(path + ' 目录已存在')
            return False

    async def fetch(self, url, method='get', headers = None, retryCount = 3):
        r = None
        curr_url = url
        for i in range(1, retryCount):
            if method == 'head':
                r = await self.session.head(curr_url, proxy=self.proxy, headers = headers)
            else:
                r = await self.session