aiohttp的异步爬虫使用方法

最新推荐文章于 2024-11-05 08:57:53 发布
最新推荐文章于 2024-11-05 08:57:53 发布
阅读量145 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/songhao8080/article/details/103670094
版权

aiohttp是python3的一个异步模块，分为服务器端和客户端。廖雪峰的python3教程中，讲的是服务器端的使用方法。均益这里主要讲的是客户端的方法，用来写爬虫。使用异步协程的方式写爬虫，能提高程序的运行效率。

1、安装

Python
pip install <span class="wp_keywordlink_affiliate"><a href="https://www.168seo.cn/tag/aiohttp" title="View all posts in aiohttp" target="_blank">aiohttp</a></span>
1
2
pip install aiohttp
 

2、单一请求方法

Python
import aiohttp import asyncio async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(url): async with aiohttp.ClientSession() as session: html = await fetch(session, url) print(html) url = 'http://junyiseo.com' loop = asyncio.get_event_loop() loop.run_until_complete(main(url))
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
import aiohttp
import asyncio
 
async def fetch ( session , url ) :
     async with session . get ( url ) as response :
         return await response . text ( )
 
async def main ( url ) :
     async with aiohttp . ClientSession ( ) as session :
         html = await fetch ( session , url )
         print ( html )
url = 'http://junyiseo.com'
loop = asyncio . get_event_loop ( )
loop . run_until_complete ( main ( url ) )
 

3、多url请求方法

Python
import aiohttp import asyncio async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(url): async with aiohttp.ClientSession() as session: html = await fetch(session, url) print(html) loop = asyncio.get_event_loop() # 生成多个请求方法 url = "http://junyiseo.com" tasks = [main(url), main(url)] loop.run_until_complete(asyncio.wait(tasks)) loop.close()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
import aiohttp
import asyncio
 
async def fetch ( session , url ) :
     async with session . get ( url ) as response :
         return await response . text ( )
 
async def main ( url ) :
     async with aiohttp . ClientSession ( ) as session :
         html = await fetch ( session , url )
         print ( html )
 
 
loop = asyncio . get_event_loop ( )   
 
# 生成多个请求方法
url = "http://junyiseo.com"
tasks = [ main ( url ) , main ( url ) ]
loop . run_until_complete ( asyncio . wait ( tasks ) )
loop . close ( )
 

4、其他的请求方式

上面的代码中，我们创建了一个 ClientSession 对象命名为session，然后通过session的get方法得到一个 ClientResponse 对象，命名为resp，get方法中传入了一个必须的参数url，就是要获得源码的http url。至此便通过协程完成了一个异步IO的get请求。
aiohttp也支持其他的请求方式

Python
session.post('http://httpbin.org/post', data=b'data') session.put('http://httpbin.org/put', data=b'data') session.delete('http://httpbin.org/delete') session.head('http://httpbin.org/get') session.options('http://httpbin.org/get') session.patch('http://httpbin.org/patch', data=b'data')
1
2
3
4
5
6
7
8
session . post ( 'http://httpbin.org/post' , data = b 'data' )
session . put ( 'http://httpbin.org/put' , data = b 'data' )
session . delete ( 'http://httpbin.org/delete' )
session . head ( 'http://httpbin.org/get' )
session . options ( 'http://httpbin.org/get' )
session . patch ( 'http://httpbin.org/patch' , data = b 'data' )
 
 

5、请求方法中携带参数

GET方法带参数

Python
params = {'key1': 'value1', 'key2': 'value2'} async with session.get('http://httpbin.org/get', params=params) as resp: expect = 'http://httpbin.org/get?key2=value2&key1=value1' assert str(resp.url) == expect
1
2
3
4
5
6
params = { 'key1' : 'value1' , 'key2' : 'value2' }
async with session . get ( 'http://httpbin.org/get' ,
                       params = params ) as resp :
     expect = 'http://httpbin.org/get?key2=value2&key1=value1'
     assert str ( resp . url ) == expect
 

POST方法带参数

Python
payload = {'key1': 'value1', 'key2': 'value2'} async with session.post('http://httpbin.org/post', data=payload) as resp: print(await resp.text())
1
2
3
4
5
payload = { 'key1' : 'value1' , 'key2' : 'value2' }
async with session . post ( 'http://httpbin.org/post' ,
                         data = payload ) as resp :
     print ( await resp . text ( ) )
 

6、获取响应内容

resp.status 是http状态码，
resp.text() 是网页内容

Python
async with session.get('https://api.github.com/events') as resp: print(resp.status) print(await resp.text())
1
2
3
4
async with session . get ( 'https://api.github.com/events' ) as resp :
     print ( resp . status )
     print ( await resp . text ( ) )
 

gzip和deflate转换编码已经为你自动解码。

7、JSON请求处理

Python
async with aiohttp.ClientSession() as session: async with session.post(url, json={'test': 'object'})
1
2
3
async with aiohttp . ClientSession ( ) as session :
     async with session . post ( url , json = { 'test' : 'object' } )
 

返回json数据的处理

Python
async with session.get('https://api.github.com/events') as resp: print(await resp.json())
1
2
3
async with session . get ( 'https://api.github.com/events' ) as resp :
     print ( await resp . json ( ) )
 

8、以字节流的方式读取文件，可以用来下载

Python
async with session.get('https://api.github.com/events') as resp: await resp.content.read(10) #读取前10个字节
1
2
3
async with session . get ( 'https://api.github.com/events' ) as resp :
     await resp . content . read ( 10 ) #读取前10个字节
 

下载保存文件

Python
with open(filename, 'wb') as fd: while True: chunk = await resp.content.read(chunk_size) if not chunk: break fd.write(chunk)
1
2
3
4
5
6
7
with open ( filename , 'wb' ) as fd :
     while True :
         chunk = await resp . content . read ( chunk_size )
         if not chunk :
             break
         fd . write ( chunk )
 

9、上传文件

Python
url = 'http://httpbin.org/post' files = {'file': open('report.xls', 'rb')} await session.post(url, data=files)
1
2
3
4
5
url = 'http://httpbin.org/post'
files = { 'file' : open ( 'report.xls' , 'rb' ) }
 
await session . post ( url , data = files )
 

可以设置好文件名和content-type:

Python
url = 'http://httpbin.org/post' data = FormData() data.add_field('file', open('report.xls', 'rb'), filename='report.xls', content_type='application/vnd.ms-excel') await session.post(url, data=data)
1
2
3
4
5
6
7
8
9
url = 'http://httpbin.org/post'
data = FormData ( )
data . add_field ( 'file' ,
               open ( 'report.xls' , 'rb' ) ,
               filename = 'report.xls' ,
               content_type = 'application/vnd.ms-excel' )
 
await session . post ( url , data = data )
 

10、超时处理

默认的IO操作都有5分钟的响应时间 我们可以通过 timeout 进行重写，如果 timeout=None 或者 timeout=0 将不进行超时检查，也就是不限时长。

Python
async with session.get('https://github.com', timeout=60) as r: ...
1
2
3
async with session . get ( 'https://github.com' , timeout = 60 ) as r :
     . . .
 

11、自定义请求头

Python
url = 'http://example.com/image' payload = b'GIF89a\x01\x00\x01\x00\x00\xff\x00,\x00\x00' b'\x00\x00\x01\x00\x01\x00\x00\x02\x00;' headers = {'content-type': 'image/gif'} await session.post(url, data=payload, headers=headers)
1
2
3
4
5
6
7
8
9
url = 'http://example.com/image'
payload = b 'GIF89a\x01\x00\x01\x00\x00\xff\x00,\x00\x00'
           b '\x00\x00\x01\x00\x01\x00\x00\x02\x00;'
headers = { 'content-type' : 'image/gif' }
 
await session . post ( url ,
                   data = payload ,
                   headers = headers )
 

设置session的请求头

Python
headers={"Authorization": "Basic bG9naW46cGFzcw=="} async with aiohttp.ClientSession(headers=headers) as session: async with session.get("http://httpbin.org/headers") as r: json_body = await r.json() assert json_body['headers']['Authorization'] == \ 'Basic bG9naW46cGFzcw=='
1
2
3
4
5
6
7
headers = { "Authorization" : "Basic bG9naW46cGFzcw==" }
async with aiohttp . ClientSession ( headers = headers ) as session :
     async with session . get ( "http://httpbin.org/headers" ) as r :
         json_body = await r . json ( )
         assert json_body [ 'headers' ] [ 'Authorization' ] == \
             'Basic bG9naW46cGFzcw=='
 

12、自定义cookie

Python
url = 'http://httpbin.org/cookies' cookies = {'cookies_are': 'working'} async with ClientSession(cookies=cookies) as session: async with session.get(url) as resp: assert await resp.json() == { "cookies": {"cookies_are": "working"}}
1
2
3
4
5
6
7
url = 'http://httpbin.org/cookies'
cookies = { 'cookies_are' : 'working' }
async with ClientSession ( cookies = cookies ) as session :
     async with session . get ( url ) as resp :
         assert await resp . json ( ) == {
           "cookies" : { "cookies_are" : "working" } }
 

在多个请求中共享cookie

Python
async with aiohttp.ClientSession() as session: await session.get( 'http://httpbin.org/cookies/set?my_cookie=my_value') filtered = session.cookie_jar.filter_cookies( 'http://httpbin.org') assert filtered['my_cookie'].value == 'my_value' async with session.get('http://httpbin.org/cookies') as r: json_body = await r.json() assert json_body['cookies']['my_cookie'] == 'my_value'
1
2
3
4
5
6
7
8
9
10
async with aiohttp . ClientSession ( ) as session :
     await session . get (
         'http://httpbin.org/cookies/set?my_cookie=my_value' )
     filtered = session . cookie_jar . filter_cookies (
         'http://httpbin.org' )
     assert filtered [ 'my_cookie' ] . value == 'my_value'
     async with session . get ( 'http://httpbin.org/cookies' ) as r :
         json_body = await r . json ( )
         assert json_body [ 'cookies' ] [ 'my_cookie' ] == 'my_value'
 

13、限制同时请求数量

limit默认是100，limit=0的时候是无限制

Python
conn = aiohttp.TCPConnector(limit=30)
1
2
conn = aiohttp . TCPConnector ( limit = 30 )
 

14、SSL加密请求

有的请求需要验证加密证书，可以设置ssl=False，取消验证

Python
r = await session.get('https://example.com', ssl=False)
1
2
r = await session . get ( 'https://example.com' , ssl = False )
 

加入证书

Python
sslcontext = ssl.create_default_context( cafile='/path/to/ca-bundle.crt') r = await session.get('https://example.com', ssl=sslcontext)
1
2
3
4
sslcontext = ssl . create_default_context (
   cafile = '/path/to/ca-bundle.crt' )
r = await session . get ( 'https://example.com' , ssl = sslcontext )
 

15、代理请求

Python
async with aiohttp.ClientSession() as session: async with session.get("http://<span class="wp_keywordlink"><a href="http://www.168seo.cn/python" title="python">python</a></span>.org", proxy="http://proxy.com") as resp: print(resp.status)
1
2
3
4
5
async with aiohttp . ClientSession ( ) as session :
     async with session . get ( "http://python.org" ,
                           proxy = "http://proxy.com" ) as resp :
         print ( resp . status )
 

代理认证

Python
async with aiohttp.ClientSession() as session: proxy_auth = aiohttp.BasicAuth('user', 'pass') async with session.get("http://<span class="wp_keywordlink"><a href="http://www.168seo.cn/python" title="python">python</a></span>.org", proxy="http://proxy.com", proxy_auth=proxy_auth) as resp: print(resp.status)
1
2
3
4
5
6
7
async with aiohttp . ClientSession ( ) as session :
     proxy_auth = aiohttp . BasicAuth ( 'user' , 'pass' )
     async with session . get ( "http://python.org" ,
                           proxy = "http://proxy.com" ,
                           proxy_auth = proxy_auth ) as resp :
         print ( resp . status )
 

或者通过URL认证

Python
session.get("http://python.org", proxy="http://user:pass@some.proxy.com")
1
2
3
session . get ( "http://python.org" ,
             proxy = "http://user:pass@some.proxy.com" )
 

16、优雅的关闭程序

没有ssl的情况，加入这个语句关闭await asyncio.sleep(0)

Python
async def read_website(): async with aiohttp.ClientSession() as session: async with session.get('http://example.org/') as resp: await resp.read() loop = asyncio.get_event_loop() loop.run_until_complete(read_website()) # Zero-sleep to allow underlying connections to close loop.run_until_complete(asyncio.sleep(0)) loop.close()
1
2
3
4
5
6
7
8
9
10
11
async def read_website ( ) :
     async with aiohttp . ClientSession ( ) as session :
         async with session . get ( 'http://example.org/' ) as resp :
             await resp . read ( )
 
loop = asyncio . get_event_loop ( )
loop . run_until_complete ( read_website ( ) )
# Zero-sleep to allow underlying connections to close
loop . run_until_complete ( asyncio . sleep ( 0 ) )
loop . close ( )
 

如果是ssl请求，在关闭前需要等待一会

Python
loop.run_until_complete(asyncio.sleep(0.250)) loop.close()
1
2
3
loop . run_until_complete ( asyncio . sleep ( 0.250 ) )
loop . close ( )
 

*** 转自均益博客




  • zeropython 微信公众号 5868037 QQ号 5868037@qq.com QQ邮箱
songhao8080
关注
python爬虫之看懂aiohttp异步爬虫
weixin_68056852的博客
09-21 1283
接下来我们会详细介绍aiohttp库的用法和爬取实战。aiohttp 是一个支持异步请求的库，它和 asyncio 配合使用，可以使我们非常方便地实现异步请求操作。asyncio模块，其内部实现了对TCP、UDP、SSL协议的异步操作，但是对于HTTP请求，就需要aiohttp实现了。aiohttp分为两部分，一部分是Client，一部分是Server。下面来说说aiohttp客户端部分的用法。
简谈异步爬虫aiohttp
CorGi_8456的博客
08-19 1373
之前涉及到的爬虫，都基本上使用的requests库进行爬取。但是request获取网站内容的话，是有相应时间的，要不然也不会设置timeout了。但是，响应时间内，程序也在等待，响应时间越长等待时间就相对变长。因为python的自身原因多线程就不做最优选了（但是我很喜欢用=）），多进程则是利用cpu的多核在同一时间内进行多个任务。因此就该引出一个概念——协程coroutine。
patch请求_异步请求库aiohttp的使用
weixin_39618275的博客
11-26 492
异步请求库aiohttp的使用1.使用aiohttp发起一个请求官方推荐使用一个客户端会话来发起所有请求，会话中记录了请求的cookie，但你还可以使用aiohttp.request来发送请求。当我们使用 async def 就是定义了一个异步函数，异步逻辑由asyncio提供支持。async with aiohttp.ClientSession() as session 为异步上下文管理器，在请...
Python aiohttp BasicAuth() 登录验证
高压锅博客
03-10 2144
1. 用户名（login）, 密码（password） auth = aiohttp.BasicAuth(login=username, password=password) url = "https://myanimelist.net/api/account/verify_credentials.xml" with aiohttp.ClientSession(auth=auth) as session: async with session.get(url) as response: sta
Python进行HTTP认证：Basic Auth和Digest Auth
weixin_73725158的博客
11-05 468
Digest Auth比Basic Auth更安全，因为它使用了一种称为MD5的哈希函数来对密码进行加密，并且它还会对请求和响应进行时间戳和随机数处理，以防止“中间人”攻击。Basic Auth是一种简单的认证机制，它通过将用户名和密码编码为Base64格式的字符串，然后将其作为HTTP请求头部的一部分发送给服务器来实现。然而，由于Base64编码是可逆的，因此它并不能提供真正的安全性，尤其是在不安全的网络环境中。相比之下，Digest Auth提供了更高的安全性，但实现起来可能更复杂一些。
一图看懂 aiohttp 模块：基于 asyncio 的异步HTTP网络库, 资料整理+笔记（大全）
常年招收【在读】大学生、研究生、IT一技之长者，远程兼职，待遇丰厚！请私信我！
05-06 1243
全文介绍系统内置 aiohttp 模块、函数、类及类的方法和属性。它通过代码抓取并经AI智能翻译和人工校对。是一部不可多得的权威字典类工具书。它是系列集的一部分。后续陆续发布、敬请关注。【原创：AhcaoZhu大侠】
python模块之aioHttp 异步请求
局外人LZ的博客
09-06 4249
aiohttp 是一个基于异步的 Python HTTP 客户端/服务器框架，它允许你编写高性能的异步网络应用程序。它建立在 Python 的协程和异步 I/O 模型上，并利用了 Python 3.5+ 中引入的 asyncio 库。异步支持：aiohttp 基于 asyncio 库，充分利用了 Python 的协程和异步 I/O 模型，可以处理大量并发请求而不阻塞其他任务。这使得它非常适合编写高性能的网络应用程序。
Python中利用aiohttp制作异步爬虫及简单应用
12-24
关于asyncio模块的介绍，笔者会在后续的文章中加以介绍，本文将会讲述一个基于asyncio实现的HTTP框架——aiohttp，它可以帮助我们异步地实现HTTP请求，从而使得我们的程序效率大大提高。 简介 asyncio可以实现单线程...
异步爬虫：aiohttp 异步请求库使用：
m0_72458808的博客
06-18 1365
使用requests 请求库虽然可以完成爬虫业务，但是对于异步任务来说，它是做不到的， 这时候我们需要借助 aiohttp 异步请求库来完成异步爬虫的编写：楼主使用的python版本是最新的，3.12的py版本， 另外pycharm使用的也是最新版的 2024版本的。请务必与我保持一致， 否则会报很多莫名其妙的异常信息。
aiohttp 简易使用教程
热门推荐
getcomputerstyle的博客
05-10 3万+
0. 前言 本文翻译自aiohttp的官方文档，如有纰漏，欢迎指出。 aiohttp分为服务器端和客户端，本文只介绍客户端。 由于上下文的缘故，请求代码必须在一个异步的函数中进行： async def fn(): pass 1. aiohttp安装 pipinstall aiohttp 1.1. 基本请求用法 async with aioh...
aiohttp-basicauth:适用于aiohttp 3.0+的HTTP基本身份验证中间件
05-27
aiohttp-basicauth 适用于aiohttp 3.0+的HTTP基本身份验证中间件。 受启发。 要求 Python> = 3.5.3 aiohttp> = 3.0 安装 pip install aiohttp_basicauth 使用简单 from aiohttp import web from aiohttp_basicauth import BasicAuthMiddleware auth = BasicAuthMiddleware ( username = 'user' , password = 'password' ) app = web . Application ( middlewares = [ auth ]) web . run_app ( app , host = '127.0.0.1' , port = 80 ) 保护特定视图 from aioht
python aiohttp_python aiohttp的使用详解
weixin_39581945的博客
12-08 1018
1.aiohttp的简单使用(配合asyncio模块)import asyncio,aiohttpasync def fetch_async(url):print(url)async with aiohttp.request("GET",url) as r:reponse = await r.text(encoding="utf-8")　　#或者直接await r.read()不编码，直接读取，适...
利用aiohttp实现异步爬虫
山阴少年
09-13 1万+
  asyncio可以实现单线程并发IO操作，是Python中常用的异步处理模块。关于asyncio模块的介绍，笔者会在后续的文章中加以介绍，本文将会讲述一个基于asyncio实现的HTTP框架——aiohttp，它可以帮助我们异步地实现HTTP请求，从而使得我们的程序效率大大提高。   本文将会介绍aiohttp在爬虫中的一个简单应用。   我们的项目来源于：Scrapy爬虫（5）爬取当当网...
第17讲：aiohttp 异步爬虫实战
菜鸡小白的成长记录
01-13 9081
在上一课时我们介绍了异步爬虫的基本原理和 asyncio 的基本用法，另外在最后简单提及了 aiohttp 实现网页爬取的过程，这一可是我们来介绍一下 aiohttp 的常见用法，以及通过一个实战案例来介绍下使用 aiohttp 完成网页异步爬取的过程。 aiohttp 前面介绍的 asyncio 模块内部实现了对 TCP、UDP、SSL 协议的异步操作，但是对于 HTTP 请求的异步操作来说，我们就需要用到 aiohttp 来实现了。 aiohttp 是一个基于 asyncio 的异步 HTTP 网络模块
aiohttp使用教程
kong
10-14 4968
aiohttp使用教程 aiohttp分为服务器端和客户端，本文只介绍客户端。 前面有一章文章介绍了协程 文章目录aiohttp使用教程1.1、请求用法1.2 在URL中传递参数1.3、相应内容1.3、特殊响应内容：json1.4、字节流读取响应内容1.5、自定义头1.6、自定义Cookie1.7、post数据的方式1.模拟表单post数据2.post JSON3.post 小文件1.8、设置代理...
课程设计-jsp37(CS)ATM柜员机模拟软件(java+sqlserver)-qlkrp.zip
06-14
课程设计+jsp+数据库+源代码+配套报告+教程，适合课程设计用
项目管理绩效考核管理办法.docx
06-14
项目管理绩效考核管理办法.docx
2023年11月网络工程师模拟试题.docx
06-14
2023年11月网络工程师模拟试题.docx
第15章-超声波避障功能 HC-SR04超声波测距模块详解STM32超声波测距.md
最新发布
06-14
第15章-超声波避障功能 HC-SR04超声波测距模块详解STM32超声波测距
生成一个python，aiohttp异步爬虫代码
09-11
下面是一个使用Python和aiohttp模块编写的简单异步爬虫代码： ```python import aiohttp import asyncio async def fetch(session, url): async with session.get(url) as response: return await response.text...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值