风火编程--python多线程下载文件

最新推荐文章于 2020-03-09 21:12:01 发布

风火编程

最新推荐文章于 2020-03-09 21:12:01 发布

阅读量271

点赞数

CC 4.0 BY-SA版权

分类专栏： python应用文章标签：多线程下载文件下载 python下载

本文链接：https://blog.youkuaiyun.com/weixin_42620314/article/details/83793636

python应用专栏收录该内容

20 篇文章

订阅专栏

本文介绍了一种使用Python实现的多线程文件下载器，该下载器能够处理多个URL，通过多线程并行下载提高效率。若下载过程中出现异常，会自动重新下载直至成功。所有下载任务的进度会在同一位置轮换显示，提供良好的用户体验。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

多线程下载文件

出现异常的线程会自动重新下载, 所有的进度会在同一位置轮换显示

 import os
    import datetime
    from urllib import request
    url_list = ["url1","url2","url3","url4"]
    base_path = "/download/"
    
    def download(url):
    
        print("start:", url, datetime.now())
        file_name = url + '.txt'
        path = os.path.join(base_path, file_name)
        try:
            request.urlretrieve(url, path, callback)
        except:
            download(url)
    
    def callback(a, b, c):
        per = 100.0 * a * b / c
        # print(a, b, c)
        if per > 100:
            per = 100
        print('\r%.2f%%, %d' % (per, c), end=" ")
    
    
    if __name__ == '__main__':
        print("name_list", len(url_list))
        thread_list = []
        for i in url_list:
            if url_list:
                url = url_list.pop(0)
                my_thread = Thread(target=download, args=(url,))
                thread_list.append(my_thread)
    
        for my_thread in thread_list:
            my_thread.start()
        for my_thread in thread_list:
            my_thread.join()