python 批量下载图片（协程）

已于 2023-07-19 15:22:45 修改
阅读量953 收藏 1
点赞数
文章标签： python 开发语言
于 2023-07-19 15:17:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Drizzlejj/article/details/131809516
版权

要下载的图片网站

 1、总共多少页，得到每页的 url 列表

 

2、每页的图片详情的 ulr 列表（因为该高清大图在图片详情页，因此需要去图片详情页拿图片的url)

​​​​​​​

 

 

3、进入图片详情页，获取到图片url 然后下载。

 

完整代码如下：

import
最低0.47元/天 解锁文章
Drizzlejj
关注
python-25-协程异步aiohttp爬取数据
qq_20466211的博客
05-12 2041
异步协程aiohttp
python协程下载
wulong710的专栏
11-24 484
# coding=utf-8 import requests import os import sys import chardet import asyncio import threading import urllib from queue import Queue from concurrent.futures import ThreadPoolExecutor from enum import Enum from html.parser import HTMLParser gBook2Url =.
python批量图片下载器（可下载任意种类的图片）
03-18
利用python写的批量图片下载器，程序可自动上网搜索用户 输入的关键字图片并下载
python 基于协程下载图片（asyncio）
Silentli20的博客
05-17 438
#!/usr/bin/env python import datetime import aiohttp import asyncio # 异步 async def fetch(session, url): print("发送请求：", url) async with session.get(url, verify_ssl=False) as response: content = await response.content.read() file_n.
【Python学习】网络爬虫-批量获取图片
m0_67401134的博客
02-15 1161
在本实例中，我们使用requests和BeautifulSoup模块实现了豆瓣上电影海报的批量下载功能。requests：是一个常用的 HTTP 请求库，可以方便地向网站发送 HTTP 请求，并获取响应结果。requests 模块比 urllib 模块更简洁。BeautifulSoup：是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。
Python批量下载图片
weixin_30699443的博客
10-08 122
　　爬取图片可真的是一个可遇不可求的机会。 　　有需求就会动力。 　　目标：爬取某个网站上n多页的链接，每个链接有n多张图片，每一页对应一个文件夹，每个文件夹包含n个链接所对应的文件夹。 　　 　　步骤1：获得网页的所有链接，访问所有链接，获得链接里的图片地址。 　　这一步通过上一篇文章的学习，同时写好正则匹配，就可以简单地完成。 　　 　　步骤2：根据图片地址下载图片。 　　下载...
使用python批量下载图片
08-12
使用python批量下载图片，从已知的图片网站上批量下载免费图片到本地保存。使用python语言实现。
python下载批量图片
caohailan666的博客
11-16 1038
批量图片的抓取
Python异步爬虫批量下载图片-协程
代元培
06-04 878
Python爬虫协程实例批量下载图片
python 多进程和协程配合使用写入数据
12-16
在Python编程中，多进程和协程是两种不同的并发处理方式，它们各有优势，并且可以协同工作以提高程序效率。本示例展示了如何在处理大量数据时，利用多进程读取文件并用协程进行数据处理，从而实现高效的数据处理流程...
Python实现批量下载文件
09-22
在Python编程中，批量下载文件是一项常见的任务，尤其在数据抓取、自动化备份或资源管理等领域。本篇文章将介绍如何使用Python实现批量下载文件，并提供两种不同的实现方式。 首先，让我们详细解读第一种方法，该...
python下载图片
10-19
python下载图片 import sys, time, urllib2, cookielib, urllib import socket import threading import re import hashlib import os import simplejson as json import random import traceback threading.stack_size(128*1024) re_checkVC = re.compile(r'.+\(\'(.*)\',\'(.*)\'\)') re_login = re.compile(r'.*\(\'(\d)\',.*\'(.*)\'\);')
Python-异步协程下载器
08-12
异步协程下载器
Python下载图片
04-17
NULL 博文链接：https://braveyly.iteye.com/blog/1828859
利用Python爬虫批量下载百度图库图片
02-04
利用Python爬虫批量下载百度图库图片
python——协程之简单的图片下载器
weixin_44321116的博客
07-28 427
首先在谷歌或火狐浏览器中找到一个界面——>右击空白处——>选择“检查”——>选择图片中的按钮 点击你想要的图片，在右侧会自动选择图片的代码信息 右击复制选中的代码后保留图片url地址到自己的代码中 import urllib.request import gevent from gevent import monkey monkey.patch_all() def do...
python爬虫技术——批量图片下载
voiceless_Li的博客
04-30 1936
今天是第二天，我又来啦每日清醒保持清醒，才能在人生的道路上稳健前行，无惧风雨。分享内容Python批量图片爬取今天要分享的是网络上图片的批量爬取，也是通过python，也算是一种爬虫技术吧。搜索引擎：Google环境：python环境工具：pycharm。
python 协程之异步下载图片
u014265398的博客
04-14 3625
1.安装第三方模块 pip install aiofiles pip install aiohttp 2.示例 #! /usr/bin/env python3 import asyncio import hashlib import aiofiles import aiohttp #携程异步下载图片示例 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, lik
给我详细Python讲解Python的协程
最新发布
03-08
<think>好的，用户让我详细讲解Python的协程。首先，我需要回忆协程的基本概念，以及它在Python中的发展历程。协程是轻量级的线程，用于异步编程，对吧？Python中从生成器开始，通过yield关键字逐步演化到async和await语法。可能需要先解释生成器如何演变成协程，然后介绍asyncio库。 用户可能已经了解生成器，但不确定，所以需要从基础讲起。应该分步骤讲解，比如先讲生成器与协程的关系，再引入async/await，最后讲实际应用和示例代码。同时要注意代码的正确性，确保示例能运行，比如用async def定义协程函数，用await调用其他协程。 另外，用户可能需要知道协程的优势，比如非阻塞IO操作、高并发处理。这时候需要对比多线程和多进程，说明协程在IO密集型任务中的高效性。还要提到事件循环的概念，因为asyncio的核心就是事件循环管理协程的执行。 可能还需要注意Python的版本问题，比如async和await在Python 3.5之后引入，之前版本可能用@asyncio.coroutine装饰器和yield from。但现在的标准写法是async/await，所以应该以新语法为主。 用户可能会对如何使用协程处理实际任务感兴趣，比如网络请求、文件读写等异步操作。这时候可以举一个使用aiohttp进行异步HTTP请求的例子，或者使用asyncio.gather同时运行多个协程。 还要注意常见的错误和陷阱，比如在协程中不要调用阻塞代码，否则会挂起整个事件循环。应该提醒用户使用异步版本的库，比如aiohttp代替requests。 最后，总结协程的适用场景和最佳实践，帮助用户理解何时使用协程，以及如何有效利用它们提高程序性能。可能还需要提到与其他异步编程模型的对比，比如回调函数和Promise，说明协程在可读性和可维护性上的优势。</think>好的，我将分步骤详细讲解Python协程，并提供易于理解的代码示例： 一、协程的演进历史 1. 生成器阶段（Python 2.5+） ```python def old_coroutine(): while True: received = yield # 暂停执行并接收值 print(f"Received: {received}") coro = old_coroutine() next(coro) # 激活生成器 coro.send("Hello") # 输出：Received: Hello ``` 2. 装饰器阶段（Python 3.4） ```python import asyncio @asyncio.coroutine def py34_coroutine(): yield from asyncio.sleep(1) print("After sleep") ``` 3. 现代语法（Python 3.5+） ```python async def modern_coroutine(): await asyncio.sleep(1) print("Using async/await") ``` 二、协程核心概念 1. 事件循环（Event Loop） ```python async def main(): print("Start") await asyncio.sleep(1) print("End") # 创建事件循环 loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 2. 并发执行示例 ```python async def task(name, seconds): print(f"{name} started") await asyncio.sleep(seconds) print(f"{name} completed") async def main(): # 同时运行3个任务 await asyncio.gather( task("Task1", 2), task("Task2", 1), task("Task3", 3) ) # 输出顺序： # Task1 started # Task2 started # Task3 started # Task2 completed (1秒后) # Task1 completed (2秒后) # Task3 completed (3秒后) ``` 三、关键语法解析 1. async def ```python async def fetch_data(): return "data" ``` 2. await ```python async def process(): result = await fetch_data() # 等待其他协程完成 print(result) ``` 四、实际应用场景 1. HTTP请求（使用aiohttp） ```python import aiohttp async def fetch_url(url): async with aiohttp.ClientSession() as session: async with session.get(url) as response: return await response.text() async def main(): html = await fetch_url("https://example.com") print(html[:200]) # 打印前200个字符 ``` 2. 定时任务 ```python async def periodic_task(): while True: print("Heartbeat") await asyncio.sleep(5) async def main(): task = asyncio.create_task(periodic_task()) await asyncio.sleep(15) # 运行15秒 task.cancel() ``` 五、协程与线程对比 | 特性 | 协程 | 线程 | |---------------|---------------------|-------------------| | 内存占用 | 约KB级别 | 约MB级别 | | 切换开销 | 极小（无需系统调度）| 较大（需要内核切换）| | 并发能力 | 数千级 | 数百级 | | 数据共享 | 无需锁机制 | 需要同步机制 | | 适用场景 | IO密集型 | CPU密集型 | 六、最佳实践 1. 避免阻塞操作 ```python async def bad_practice(): # 错误示范：使用同步sleep会阻塞事件循环 time.sleep(1) # ❌ async def good_practice(): await asyncio.sleep(1) # ✅ ``` 2. 错误处理 ```python async def error_prone(): raise ValueError("Oops!") async def main(): try: await error_prone() except ValueError as e: print(f"Caught error: {e}") ``` 七、性能优化技巧 1. 批量创建任务 ```python async def batch_processing(): tasks = [asyncio.create_task(fetch_url(url)) for url in url_list] results = await asyncio.gather(*tasks) ``` 2. 限制并发量 ```python import asyncio from aiostream import stream async def limited_concurrency(): urls = [...] # 1000个URL results = [] async with stream.iterate(urls).map( lambda url: fetch_url(url), task_limit=50 # 同时最多50个请求 ).stream() as s: async for result in s: results.append(result) ``` 八、调试技巧 1. 查看协程状态 ```python async def debug_coroutine(): task = asyncio.current_task() print(f"Task name: {task.get_name()}") print(f"Running? {not task.done()}") ``` 2. 使用调试模式 ```bash PYTHONASYNCIODEBUG=1 python your_script.py ``` 九、常见错误及解决 1. 忘记await ```python async def common_mistake(): # 错误：直接调用协程不会执行 fetch_data() # ❌ 缺少await # 正确 await fetch_data() # ✅ ``` 2. 混合使用同步/异步代码 ```python async def mixed_usage(): # 错误：在协程中直接调用同步IO with open("file.txt") as f: # ❌ content = f.read() # 正确：使用异步文件IO库（如aiofiles） import aiofiles async with aiofiles.open("file.txt") as f: content = await f.read() # ✅ ``` 协程的核心优势在于： - 更高效的IO处理能力 - 更简洁的并发代码结构 - 更低的资源消耗 - 更好的可维护性 实际应用建议： 1. 优先选择支持异步的库（aiohttp替代requests） 2. 合理控制并发数量 3. 使用uvloop提升性能（替代默认事件循环） 4. 结合async/await和传统回调机制 5. 注意协程的生命周期管理 进阶学习方向： - 协程原理（生成器实现细节） - 事件循环底层机制 - asyncpg（异步PostgreSQL驱动） - FastAPI（基于协程的Web框架） - WebSocket实时通信应用 - 分布式任务队列（如arq）
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值