python根据url list多线程下载图片、删除图片目录

本文介绍了如何使用Python进行多线程下载图片,重点在于异常处理和urlretrieve函数的应用。同时,作者分享了一个并行删除指定图片ID命名的文件夹的代码示例,适用于批量清理含有目标检测特征的图片文件夹。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

看到很多个版本多线程下载图片,自己改了改,主要是异常以及urlretrieve的使用

import time
from multiprocessing.pool import ThreadPool
import os
import urllib
from urllib.request import urlretrieve

def download_image(url, our_dir):
    '''
    根据url下载图片
    :param url:
    :return: 返回保存的图片途径
    '''
    if url == '':
        return None

    basename = os.path.basename(url)
    if basename.endswith(('jpg', 'png', 'jpeg', 'bmp')):
        print(basename + ':already has format')
    else:
        basename = basename + '.jpg'

    try:
        urllib.request.urlopen(url)
        # print('OK')
        filename = os.path.join(our_dir, basename)
        if os.path.exists(filename):
            pass
            print(basename, 'is already exist in ', our_dir)
        else:
            urlretrieve(url, filename)
            print('re download:', filename)
        return filename
    except urllib.error.URLError as e:
        if hasattr(e, "code"):
            print(e.code)
        if hasattr(e, "reason"):
            print(e.reason)
        return None
    print("download image failed:{}".format(url))
    return None

def download_image_thread
Python中,可以使用多线程下载URL图片,可以利用线程池来管理和调度多个线程的执行。 线程池是一种用于执行和管理线程的软件设计模式。它可以在需要时创建线程,并在完成任务后重新利用这些线程,以避免频繁地创建和销毁线程带来的开销。Python提供了ThreadPoolExecutor类来实现线程池功能。 使用线程池进行URL图片下载的步骤如下: 1. 导入必要的模块和类: ```python import urllib.request from concurrent.futures import ThreadPoolExecutor ``` 2. 创建一个名为download_image的函数,用于下载URL图片: ```python def download_image(url): urllib.request.urlretrieve(url, "image.jpg") ``` 3. 创建一个ThreadPoolExecutor对象,并设置线程池的大小,例如设置为5: ```python thread_pool = ThreadPoolExecutor(max_workers=5) ``` 4. 创建一个URL列表,包含要下载图片链接: ```python url_list = ["https://example.com/image1.jpg", "https://example.com/image2.jpg", "https://example.com/image3.jpg"] ``` 5. 使用线程池的map函数来调度下载任务,将下载函数和URL列表作为参数传入: ```python thread_pool.map(download_image, url_list) ``` 通过以上几个步骤,就可以利用线程池并发地下载URL图片。线程池中的线程会自动并发执行下载任务,提高了下载效率。最终,下载图片会保存在当前目录下的image.jpg文件中。 需要注意的是,使用线程池下载图片时,由于网络带宽和URL的响应速度等因素限制,实际下载速度可能不会线性增加,但相比单线程下载多线程下载可以更好地利用CPU和网络资源,提高下载效率。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值