一个自定义的图片批量下载函数

最新推荐文章于 2025-08-03 11:35:19 发布

Ray_awakepure

最新推荐文章于 2025-08-03 11:35:19 发布

阅读量453

点赞数

CC 4.0 BY-SA版权

分类专栏： python 文章标签： python

本文链接：https://blog.youkuaiyun.com/Ray_awakepure/article/details/121605566

python 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何使用Python的requests库和concurrent.futures模块，通过DataFrame处理图片URL和名称，实现高效并发下载图片到指定路径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在一个DataFrame里面保存所有待下载图片的URL和name，设置下载图片的路径，运行如下代码：

import requests
import shutil
from tqdm import tqdm
from concurrent.futures import ThreadPoolExecutor
from pathlib import Path


def save_image(session, img_url, file_name):
	"""
	下载一张图片到指定文件夹
	:param session: requests.Session()对象
	:param img_url: 图片URL
	:param file_name: 文件路径
	:return: 
	"""
	r = session.get(f"{img_url}", stream=True)
	if r.status_code == 200:
		with open(file_name, 'wb') as f:
			r.raw.decode_content = True
			shutil.copyfileobj(r.raw, f)


def download_img(img_df, target_path):
	"""
	批量下载图片
	:param img_df: 包含图片url和name的DataFrame数据集
	:param target_path: 保存图片的目标路径
	:return: 
	"""
	tasks = []
	img_dir = Path(target_path)
	with ThreadPoolExecutor(100) as executor, requests.Session() as sess, tqdm(total=len(img_df.index.unique())) as bar:
		for index, row in img_df.iterrows():
			task = executor.submit(save_image, sess, row['url'], img_dir.joinpath(f"{row['name']}"))
			task.add_done_callback(lambda fut: bar.update(1))
			tasks.append(task)

ThreadPoolExecutor(100)的意思是开100个线程。