aiohttp学习笔记及RuntimeError: Event loop is closed解决办法（close问题）

最新推荐文章于 2024-12-03 14:42:35 发布
原创 最新推荐文章于 2024-12-03 14:42:35 发布 · 1.1w 阅读 · 43 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了Python异步IO库aiohttp的使用，包括基本概念如爬虫组件、同步与异步、协程、事件循环等，并提供了示例代码。在实践中遇到RuntimeError: Event loop is closed的问题，解决方案是重写close方法以避免错误。此外，还展示了使用aiohttp进行网页抓取和代理设置的示例，以及在百度文库列表页的爬虫实现。

aiohttp学习笔记及RuntimeError: Event loop is closed解决办法（close问题）

文章目录

一、概念

1.爬虫的基本组成
	a.url管理模块
	b.HTML下载模块
	c.数据存储模块
	d.爬虫调度模块
2.同步和异步
	同步和异步关注的是消息通信机制
	
	同步：再发出一个调用时，在没有得到结果之前，该调用就不会返回，但是一旦调用返回，就得到返回值。换句话说，就是由调用者主动等待这个调用结果
	
	异步：调用在发出之后，这个调用就直接返回了，所以没有返回结果。当一个异步过程调用发出之后，调用者不会立刻得到结果，而是再在调用发出后，被调用这通过状态、通知来通知调用者，或通过回调函数处理这个调用
3.阻塞与非阻塞
	阻塞和非阻塞关注的是程序在等待调用结果（消息，返回值）时的状态
	阻塞调用是指调用结果返回之前，当前线程会被挂起
	调用线程只有在得到结果之后才会返回
	非阻塞调用指在不能立刻得到结果之前，该调用不会阻塞当前线程
4.协程
	coroutines:一种比线程更加轻量级的存在，一个线程拥有多个协程。
	协程被操作系统内核管理，完全可以自由程序控制，这样就是在性能上得到了很大的提升，因为单线程所以避免了上下文之间的切换
	通过yield/send可以实现一个协程，yield可以让协程暂停和线程的阻塞是有本质的却别，协程暂停完全由程序控制，线程的阻塞状态由操作系统内核控制。开销远小于线程。python3.5以后 async/await成为了更好的替代方案
5.asyncio
	一个异步io库，从python3.4开始加入官方库，一直到python3.5才将许多临时api定格下来，知道python3.6才定格，python3.6为其加入async和await两大关键字，到python3.7加入asyncio.run方法，进一步简化运行入口的写法
6.事件循环
	事件循环是一种处理多并发量的有效方式，在维基百科中它被描述为“一种等待程序分配事件或消息的变成架构”，我们可以定义事件循环来简化使用轮询方法来监控时间。他的意义最通俗的说法是“当A发生时，执行B”。他是asyncio提供的“中央处理设备”
7.uvlop
	Cypthon编写、用来代替asyncio事件循环。
	作者说“他在速度上至少比NOde.js、geven以及其他任何python异步框架快2倍”
8.其他
	mongodb的异步版本 Motor
	mongodb文件存储系统 GridFS

GridFS：https://blog.youkuaiyun.com/u011194506/article/details/75578818?utm_medium=distribute.pc_relevant.none-task-blog-searchFromBaidu-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-searchFromBaidu-1.control

二、示例代码

1.aiohttp
import asyncio
import aiohttp


# 这里加异常捕获是因为uvloop不支持windos环境
try:
    import uvloop
    asyncio.set_event_loop_policy(uvloop.EventLoopPolicy())
except ImportError as e:
    pass
url = "http://www.baidu.com"
headers = {
   
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/88.0.4324.104 Safari/537.36",
}


async def fetch(url):
    timeout = aiohttp.ClientTimeout(total=5)
    
    #  tc为一个connector          限制TCP的连接数 忽略SSL证书错误
    async with aiohttp.TCPConnector(limit=30, verify_ssl=False)as tc:
        
        #  定义一个session，通过异步上下文关键字定义
        async with aiohttp.ClientSession(connector=tc,timeout=timeout)as session:
            # req就是response
            async with session.get(url, headers=headers)as req:
                status = req.status
                if status in [200, 201]:
                    
                    # 因为异步所以需要用await去调用
                    source = await req.text()
最低0.47元/天 解锁文章
L_W_D_
关注
【Python自学笔记】asyncio.run()报错RuntimeError:Event loop is closed的原因以及解决办法
XiaoqiangClub的博客
05-02 5700
asyncio.run()报错RuntimeError:Event loop is closed的原因以及解决办法
android学习笔记---32_文件断点上传器,解决多用户并发,以及自定义协议,注意协议中的漏洞
添柴程序猿的专栏
04-03 1981
32_文件断点上传器 --------------------------- 1.当文件很大的时候就无法通过http协议进行上传了,因为get,post的安全原因,很多服 务器会   禁止这些协议,而且get也不支持大文件上传,那么这个时候就需要使用Tcp/IP (Socket)协议实现断点上传,实现多用户并发访问 ---------------------------
【Python】aiohttp库报错：raise RuntimeError(‘Event loop is closed‘) RuntimeError: Event loop is closed
MZH
06-03 1569
【Python】aiohttp库报错：raise RuntimeError('Event loop is closed') RuntimeError: Event loop is closed
aiohttp出现 raise RuntimeError(‘Event loop is closed‘) 来自（＜function _ProactorBasePipeTransport.__del_）
peanutfish的专栏
09-19 1390
Python3.8 后默认 Windows 系统上的事件循环采用 ProactorEventLoop （仅用于 Windows ）这篇文档描述了其在 Windows 下的缺陷：https://docs.python.org/zh-cn/3/library/asyncio-platforms.html#windows 👈。这是 Github 上一个外国大佬的方法，在不改变源码的前提下，使用装饰器忽略掉异常。过来了：（如有侵权或者不舒服，可联系我撤下，狗头保命），所以 aiohttp 铁定使用了。
RuntimeError: Event loop is closed，py3.8协程问题报错解决方法
Aasee的博客
02-21 1853
将asyncio.run(get_url(main())) 改为asyncio.get_event_loop().run_until_complete(main()) 总结来说就是aiohttp 内部使用了 _ProactorBasePipeTransport ，程序退出释放内存时自动调用其 _ProactorBasePipeTransport.__del__方法导致二次关闭事件循环。一般的协程程序是不会使用_ProactorBasePipeTransport 的，所以asyncio.run() 还是可以
python协程：RuntimeError: Event loop is closed解决办法
热门推荐
weixin_46830352的博客
11-17 1万+
在学习协程时，用asyncio.run()运行会出现一下RuntimeError: Event loop is closed，如下 解决办法：将 asyncio.run(main())替换为下面两行 loop = asyncio.get_event_loop() loop.run_until_complete(main()) 总而言之是asyncio.run()会自动关闭循环,并且调用_ProactorBasePipeTransport.__del__报错, 而asyncio.run_un.
量化交易回测系统---RQalpha、qstrade学习笔记
aipotong0564的博客
03-09 2610
一、RQalpha github 地址 https://github.com/ricequant/rqalpha 1、运行test.py文件，显示No module named 'logbook.base'。 解决先卸载再安装： pip uninstall logbook pip install logbook 2、出现：RuntimeError: 请设置账户及初始资金。...
DirectX12学习笔记（四）Direct3D Initialization
Calette的博客
12-25 1870
目录 4.1 PRELIMINARIES 4.1.1Direct3D 4.1.2 COM（Component Object Model） 4.1.3 Textures Formats 4.1.4 The Swap Chain and Page Flipping 4.1.5 Depth Buffering 4.1.6 Resources and Descriptors 4.1.7 ...
Python3学习笔记_INDEX（汇总）
qq_34764582的博客
03-18 6026
目录建议不要光看，要多动手敲代码。眼过千遭，不如手读一遍。python注释python运算符比较：type()和 isinstance()基本数据类型Number(数字)数学函数随机数函数字符串格式化输出字符串内建函数列表 list增删改查其他内置函数元组字典增删改查其他内置函数集合 set增删其他条件控制循环函数不定长参数匿名函数变量作用域迭代器生成器 generator闭包闭包定义使用闭包的注...
Python中使用aiohttp模拟服务器出现错误问题及解决方法
12-16
软件版本及环境：Python 3.9 + pycharm 2020.2.1 + Windows10 运行报错： DeprecationWarning: loop argument is deprecated app = web.Application(loop=loop) DeprecationWarning: Application.make_handler(…) is deprecated, use AppRunner API instead srv = await loop.create_server(app.make_handler(), ‘127.0.0.1′, 80
【Python】raise RuntimeError(‘Event loop is closed‘) RuntimeError: Event loop is closed
u010478658的专栏
08-20 838
aiohttp 这类第三方协程库依赖于标准库 asyncio ， asyncio 对 Windows 的支持不好（不是主要的目标对象）。Python3.8 后默认 Windows 系统上的事件循环采用 ProactorEventLoop （仅用于 Windows ）转载原文链接：https://blog.youkuaiyun.com/u011027547/article/details/129775955。在run之前设置set_event_loop_policy适配windows。
【ERROR】asyncio.run(main())报错：RuntimeError: Event loop is closed
weixin_44624036的博客
04-07 2070
asyncio.run(main())报错：RuntimeError: Event loop is closed DeprecationWarning: There is no current event loop loop = asyncio.get_event_loop()
python runtimeeeror_python – Aiohttp,Asyncio：RuntimeError：事件循环已关闭
weixin_39992417的博客
12-14 669
我有两个脚本,scraper.py和db_control.py.在scraper.py我有这样的事情：...def scrap(category,field,pages,search,use_proxy,proxy_file):...loop = asyncio.get_event_loop()to_do = [ get_pages(url,params,conngen) for url in u...
【python】Event loop is closed问题解决方法
用吸管喝水的女汉子
12-03 628
python asyncio报错 Event loop is closed
爬虫协程出现RuntimeError: Event loop is closed
qq_27109535的博客
09-01 538
爬虫协程出现RuntimeError: Event loop is closed
aiohttp实战（路飞学城IT）和Event loop is closed问题解决
lihaiyuan_0324的博客
07-23 856
Event loop is closed 问题解决
playwright报错：“Event loop is closed! Is Playwright already stopped?”
qq_47796606的博客
10-26 1149
解决playwright报错
raise RuntimeError('Event loop is closed') RuntimeError: Event loop is closed
最新发布
08-30
解决 'Event loop is closed' RuntimeError 的方法如下： 1. 使用 `asyncio.get_event_loop()` 防止报错： ```python import asyncio async def main(): # 主协程函数的具体内容 pass loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 这种方法可避免 `asyncio.run()` 可能引发的此错误，通过手动获取事件循环并运行协程来解决问题[^1]。 2. 调整代码结构：将 `asyncio.run(result)` 替换为手动获取事件循环并运行协程，例如 `loop = asyncio.get_event_loop()` 和 `loop.run_until_complete(asyncio.wait(tasks))` ，这是经过摸索和查看博客文得到的有效方法[^2]。 3. 针对爬虫协程的情况：若 `asyncio.run(download_all_ts())` 报错，可尝试使用手动获取事件循环的方式，即 `loop = asyncio.get_event_loop()` 和 `loop.run_until_complete(download_all_ts())` [^3]。 4. 适配 Windows 系统：由于 Windows 与 `aiohttp` 库兼容性不好，Python 3.8 后默认 Windows 系统上的事件循环采用 `ProactorEventLoop` ，可在 `run` 之前设置 `set_event_loop_policy` 适配 Windows 系统。示例代码如下： ```python import asyncio async def main(): # 主协程函数的具体内容 pass asyncio.set_event_loop_policy(asyncio.WindowsSelectorEventLoopPolicy()) asyncio.run(main()) ``` 通过设置事件循环策略为 `WindowsSelectorEventLoopPolicy` ，可解决因兼容性问题导致的 'Event loop is closed' 错误[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值