异步http请求aiohttp的学习(关于同步的requests.get和requests.post的异步应用)

原创 已于 2022-07-02 17:57:24 修改
· 3k 阅读 · 0 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #http #aiohttp

于 2022-03-31 11:33:21 首次发布
首先需要导入aiohttp模块

import aiohttp

其次通过aiohttp.ClientSession()来代替requests

async with aiohttp.ClientSession() as session:  # requests
        async with session.get(url) as resp:  # resp = requests.get()

执行完上述操作后即可获得所请求的url的内容

使用异步操作时,需要注意的是与同步操作的细微差异

 - 1.异步的await resp.content.read()    <==>同步的resp.content()
 - 2.异步的需要await挂起, resp.text()   <==>同步的resp.text


注意:在执行异步操作的列表执行时需要用到await asyncio.wait(列表名称)
python中aiohttp.client_exceptions.ContentTypeError
**My Coding Family**
06-06 1029
ok，以上就是我这期的Bug修复内容啦，如果还想查找更多解决方案，你可以看看我专门收集Bug及提供解决方案的专栏「Bug调优」，都是实战中碰到的Bug，希望对你有所帮助。到此，咱们下期拜拜。码字不易，如果这篇文章对你有所帮助，帮忙给bugj菌来个，您的支持就是我坚持写作分享知识点传播技术的最大动力。「猿圈奇妙屋」；
【Python爬虫系列】_021.异步请求aiohttp
weixin_50296259的博客
09-15 110
* `asyncio`模块其内部实现了对`TCP、UDP、SSL`协议的异步操作，但是对于HTTP请求来说，就需要用`aiohttp`实现了 * `aiohttp`是一个基于异步` I/O `的Web框架，专注于提供高性能、低开销的异步Web服务。 * `aiohttp`允许我们同时处理大量并发请求，而不会阻塞程序执行 * `aiohttp` 使用Python的` async/await `语法来实现异步编程 * `aiohttp`是一个基于`asyncio`的异步HTTP网络模块，它既提供了服务端，又提供
python自动化笔记——异步requests请求
Li988765_的博客
01-02 9121
1、多个请求 ahttp:ahttp 是一个所有的http连接请求均使用协程的方式，使请求过程中 IO 操作交给其他硬件，而CPU专注于处理计算型任务，可以大量的节约等待的时间 ahttp的使用方式基本上和requests一致，只不过requests请求是同步，而ahttp的请求是异步。不同的是requests可以直接请求，而由于ahttp是异步的，所以需要构造好请求之后进行一次“执行” 安装： pip install ahttp 以下用多个请求示例：reqs放了所有请求对象，再通过ahttp.
html 异步post,python爬虫：用requests.post提交表单抓取异步ajax信息失败
weixin_39861255的博客
06-17 215
#-*- coding: UTF-8 -*-import sysimport timefrom HTMLParser import HTMLParserimport requestsimport randomfrom bs4 import BeautifulSoupreload(sys)sys.setdefaultencoding('utf8')def get_info(url):info_lis...
python异步requests_python爬虫：用requests.post提交表单抓取异步ajax信息失败
weixin_39890652的博客
11-29 392
#-*- coding: UTF-8 -*-import sysimport timefrom HTMLParser import HTMLParserimport requestsimport randomfrom bs4 import BeautifulSoupreload(sys)sys.setdefaultencoding('utf8')def get_info(url):info_lis...
爬虫请求模块（同步异步）
General_zy的博客
01-16 2316
requests模块支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。以下的请求都是快捷方法，利用的是requests构造好的session对象的request方法。上面的文件读取依旧是阻塞的，异步的文件操作模块有专用的aiofiles。
python异步requests_python-3.x – 如何使用asyncio在Python 3中异步运行requests.get？
weixin_39688870的博客
11-29 441
我正在尝试创建简单的Web监控脚本,该脚本定期和异步地将GET请求发送到列表中的URL.这是我的请求功能：def request(url,timeout=10):try:response = requests.get(url,timeout=timeout)response_time = response.elapsed.total_seconds()if response.status_code...
python requests 异步调用_异步请求Python库 grequests的应用和与requests库的响应速度的比较...
weixin_39760433的博客
01-28 499
requests库是python一个优秀的HTTP库，使用它可以非常简单地执行HTTP的各种操作，例如GET、POST等。不过，这个库所执行的网络请求都是同步了，即cpu发出请求指令后，IO执行发送和等待等操作，在这段IO执行的时间里，cpu什么也不做，这样cpu的计算能力就被浪费了。所以，可以尝试把网络请求修改为异步的，也就是在IO发挥作用的这段时间，CPU去做这个程序里的其他事情，等IO收到响...
异步爬虫：aiohttp 异步请求库使用：
m0_72458808的博客
06-18 1365
使用requests 请求库虽然可以完成爬虫业务，但是对于异步任务来说，它是做不到的， 这时候我们需要借助 aiohttp 异步请求库来完成异步爬虫的编写：楼主使用的python版本是最新的，3.12的py版本， 另外pycharm使用的也是最新版的 2024版本的。请务必与我保持一致， 否则会报很多莫名其妙的异常信息。
python异步--aiohttp
HWQlet的博客
05-26 1880
requests大家应该都不陌生是，urllib和urllib2的改进版，我们做爬虫的时候经常要用到这个第三方库来请求网页并且获取网页内容 但是requests的方法有个不好的就是不能等待，也就是说无法放在await后面，因此无法使用requests库在协程程序中实现请求 因此就出现了aiohttp用来实现异步网页请求，可以理解为异步版本的requests 基本用法 官方推荐使用ClientSession()函数来调用网页请求等相关方法 首先，我们在协程中使用ClientSession()的get
python爬虫requests.post()_python爬虫：用requests.post提交表单抓取异步ajax信息失败
weixin_39864261的博客
11-23 336
http://www.zjzfcg.gov.cn/cggg?pageNum=1&pageCount=30&searchKey=%E8%99%9A%E6%8B%9F%E5%8C%96&bidType=0&bidWay=0&region=0请看这个网站，翻页是通过ajax的，并没有刷新界面。我做了爬虫想爬去上面的content，按照网上的教程，发送一个xmlhttprequest:放一个data和一个...
爬虫之requests异步抓取、多协成、多线程（六）
qq_41359817的博客
08-22 5388
1、线程池2、协程2.1代理池、多协程分页爬取图片 1、线程池 模拟阻塞 import time #导入线程池模块对应的类 from multiprocessing.dummy import Pool #使用线程池方式执行 start_time = time.time() def get_page(str): print("正在下载 ：",str) time.sleep(2) print('下载成功：',str) name_list =['xiaozi','aa','bb','cc.
aiohttp发送post请求传递json数据
weixin_45230787的博客
08-05 2737
（一）下载ujson模块 因为python中的json模块在aiohttp中是不兼容的 所以要用ujson模块 pip install ujson 要在aiohttp中的参数添加 在下面使用 直接传递json就可以使用json传参了
aiohttp 异步http请求-2.post 请求application/json和application/x-www-form-urlencode
qq_27371025的博客
04-21 3883
前言 aiohttp 发送post请求，body类型的常见的类型传参： application/json application/x-www-form-urlencode application/json POST 请求接口报文示例，Content-Type类型是application/json POST /api/v1/login/ HTTP/1.1 Accept: application/json, */* Accept-Encoding: gzip, deflate Connection: kee
使用 aiohttp 和 asyncio 进行异步请求
getcomputerstyle的博客
11-03 5503
使用协程的异步请求以其低时消耗和对硬件的高利用而著称，翻看了很多论坛，发现协程在进行爬虫以及高频网络请求时的耗时比单多进程和单多线程还要好。本文将使用requests和使用aiohttp+asyncio进行比较，比较一下具体使用协程和不使用协程能差距多少。 本文测试所使用目标网址是廖雪峰老师python3教程的评论页 目前一共有2318页。 1.使用requests获取单个网址 import
异步文件上传请求示例（使用aiohttp）
Leon_Jinhai_Sun的博客
07-03 543
异步文件上传请求示例（使用aiohttp）
python 异步方式实现同时请求多个接口
the_brave的博客
04-13 4197
import json import requests token = "" callbackUrl = "" def demo(): import asyncio async def outExpense(): expenseUrl = "" header = { "content-type": "applica...
POST异步请求方式（使用代理）
iOS
01-27 1618
post请求安全性高，也比较常用。post请求使用NSMutableURLRequest这个类，它既可以get请求，也可以post请求。NSURLRequest只能是get请求。 POST异步请求步骤： 1、设置请求路径（服务器路径） NSString *urlStr = @"http://172.16.11.133:8080/st/s"; NSMutableURLRequest
py异步+异步爬取
qq_44744457的博客
04-13 163
【代码】py异步+异步爬取。
异步提升requests.post流式返回结果效率
最新发布
05-21
### 优化 `requests.post` 流式响应的异步处理 为了提高 `requests.post` 处理流式响应的效率，可以通过引入异步框架（如 `aiohttp` 或者第三方库 `ahttp`）实现并发请求。以下是具体的方法： #### 使用 `aiohttp` 实现异步 POST 请求 `aiohttp` 是 Python 中常用的异步 HTTP 客户端库，支持高效的异步操作。它允许开发者通过事件循环管理多个并发请求。 ```python import aiohttp import asyncio async def fetch(session, url, data): async with session.post(url, data=data) as response: # 流式读取响应内容 content = await response.text() return content async def main(urls_and_data): async with aiohttp.ClientSession() as session: tasks = [fetch(session, url, data) for url, data in urls_and_data] responses = await asyncio.gather(*tasks) return responses # 示例 URL 和数据列表 urls_and_data = [ ("https://example.com/api", {"key": "value"}), ("https://example.com/api", {"another_key": "another_value"}) ] loop = asyncio.get_event_loop() results = loop.run_until_complete(main(urls_and_data)) print(results) ``` 上述代码展示了如何利用 `aiohttp` 创建异步会话并批量发送 POST 请求[^5]。通过这种方式，可以显著减少等待时间，从而提升整体性能。 #### 结合 `stream=True` 参数 如果需要处理大文件或其他流式数据，可以在 `aiohttp` 的基础上继续使用类似于 `requests` 的 `stream=True` 功能。例如： ```python async def fetch_streaming(session, url, data): async with session.post(url, data=data) as response: async for line in response.content: # 异步迭代流式数据 process_line(line) def process_line(line): print(f"Processing line: {line.decode()}") async def main(): async with aiohttp.ClientSession() as session: await fetch_streaming(session, "https://example.com/stream", {"data": "test"}) loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 这段代码实现了对流式响应的逐行处理，适合用于下载日志、实时消息推送等场景[^6]。 #### 利用会话机制 (`ClientSession`) 正如引用中提到的会话概念[^4]，在异步环境中也可以复用 TCP 连接以降低开销。`aiohttp.ClientSession()` 提供了类似的会话功能，能够有效管理和重用底层连接。 --- ### 替代方案：`ahttp` 库 对于更简单的接口需求，可以直接采用 `ahttp` 库[^2]。该库提供了简洁的 API 来定义回调函数，在任务完成后自动触发特定逻辑。 ```python from ahttp import get, post def callback(response): if response.status == 200: print("Success:", response.body[:100]) # 打印前100字节的内容 post( url="https://example.com/post", data={"param": "value"}, callback=callback, timeout=300 # 超时设置，默认为300秒 ) ``` 虽然 `ahttp` 更加轻量级，但在复杂项目中可能不如 `aiohttp` 高度可定制化。 --- ### 总结 - **同步模式**下，当启用 `stream=True` 后需注意显式消耗所有数据或关闭连接，否则可能导致资源泄漏[^1]。 - 推荐切换到 **异步框架** 如 `aiohttp` 或 `ahttp`，它们能更好地满足高吞吐量和低延迟的要求。 - 对于频繁交互的任务，建议始终开启会话共享以充分利用持久连接的优势。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值