python异步asyncio函数多线程操作run_in_executor和run_coroutine_threadsafe解析

最新推荐文章于 2025-09-29 10:53:49 发布
原创 最新推荐文章于 2025-09-29 10:53:49 发布 · 2w 阅读 · 37 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #多线程

刚接触异步asyncio，发现python文档一个版本一个变化，恼火。
东拼西凑终于解决了asyncio的多线程操作，记录下来。对于一个门外汉。太难了。

首先python3.9版本终于封装了一个多线程函数

asyncio.to_thread(func, /, *args, **kwargs) #函数直接开线程，传递参数。感觉这才像python

对于3.9版本以下，asyncio多线程实现就是，两个函数：

run_in_executor 和 run_coroutine_threadsafe

对应两种需求。
一个是主线程，直接新开线程，运行阻塞函数。方式就像之前写的同步代码一样。代码如下（用到了run_in_executor）：

from concurrent.futures import ThreadPoolExecutor
import asyncio,time

def zusehanshu():   #测试的阻塞函数
           time.sleep(10)
           threadmingzi(
最低0.47元/天 解锁文章
hellojike
关注
深入解析 Python asyncio 库：如何使用线程池实现高效异步编程
这家伙很懒，什么都没有留下
07-10 1307
为了在asyncio中执行这些阻塞的IO操作，我们可以将它们放到线程池中执行，并使用asyncio的run_in_executor方法来调度它们。在上面的代码中，我们定义了一个do_something_blocking函数，它执行了一些阻塞的IO操作。但需要注意的是，在CPU密集型的应用中，多线程可能会导致性能下降，因为Python的全局解释锁（GIL）限制了多线程的并行执行。之所以要使用线程池来执行阻塞的IO操作，是因为在Python中，使用多线程来执行IO操作相比于多进程来说更加高效。
多线程配合协程
dianyin7770的博客
05-23 770
协程配合线程 asyncio.run_coroutine_threadsafe 该方法的语法如下: asyncio.run_coroutine_threadsafe(coro, loop) 其实在协程中也可以使用多线程,有时候我们需要在主线程中启动一个子线程去做别的任务，这个时候我们就要用到下面的方法了，先上一个流畅的Python中的代码。 import time import asyn...
Python的asyncio 多线程
hzp666的博客
03-15 1309
多线程、进程、协程是什么就不讲了，（就是你理解的一边呼吸，一边看文章）仅解决问题的话，下边两篇不用看，再深一点的看这个我们这里需求很简单，就是让2个方法都运行！！这里要用的就是asyncio 库。
Python run_in_threadpool与asyncio.to_thread详解
最新发布
onlymscn的博客
09-29 1154
是异步编程中连接同步阻塞函数和异步流程的桥梁，能有效提升异步 Web 服务的并发能力和响应速度。是现代 Python 异步编程中连接同步阻塞代码和异步环境的桥梁，能有效提升并发能力和响应速度。如果你在异步函数里必须调用同步阻塞函数，优先推荐用。比较项所属库标准库 asyncioPython版本3.9+3.6+用法依赖无需安装第三方库生态集成原生 asyncioFastAPI/Starlette生态性能基本一致基本一致推荐场景纯 asyncio/新项目。
如何在 Python 中混合使用同步和异步函数？
mkdir700的博客
03-26 9516
异步编程可以提高应用程序的性能和吞吐量，因为它可以充分利用 CPU 和 I/O 资源。当某个任务被阻塞时，事件循环可以切换到另一个任务，从而避免浪费 CPU 时间。此外，异步编程还可以简化代码，使其更易于维护和调试。我们最常用的是同步编程，在同步场景中，某个任务被阻塞时，整个线程都会被挂起，直到该任务完成，所以为了避免整个程序被阻塞的情况，又引入了多线程和锁。同步编程通常需要使用锁和其他同步原语来确保线程安全。混合编写的场景在实际开发过程中，通常会遇到同时进行异步和同步操作的场景。
python中asyncio和run_in_executor混合
wulong710的专栏
05-23 2640
run_in_executor开了新线程后台处理耗时长的任务。这时候其它协程继续运行。 例如run_in_executor开了新线程去处理requests下载任务。 callFunc = functools.partial(requests.get, url=murl, timeout=10*60) result = await loop.run_in_executor(None, callFunc) #开了新线程处理下载，挂着等结果。其它定时器任务继续在老线程里跑 l.
python 多线程 异步_python 多线程异步
weixin_39938935的博客
12-04 602
最近做了个爬取代理的爬虫，使用了python的aysncio及concurrent.futures的ThreadPoolExecutor(线程池)技术，最终完成了多线程下的异步抓取，在此mark下，以作备忘，代码在gitee上，是看到一位同道中人的go语言项目后比较感兴趣，于是用python加以改进并实现了相同的功能基本思路就是配置好要爬取的免费代理地址，然后按照分页规则生成对应的地址，在组合成任...
【asyncio】run_coroutine_threadsafe与run_in_executor多线程操作
aiscong的博客
08-15 1322
asyncio多线程多进程操作，run_in_executor与run_coroutine_threadsafe对比
一文掌握python协程asyncio（二）
qq_38120851的博客
05-22 986
协程进阶
使任意同步库快速变asyncio异步语法的方式 ，run_in_executor
m0_38056101的博客
12-30 409
from functools import partial import asyncio from threadpool_executor_shrink_able import ThreadPoolExecutorShrinkAble # 没有使用内置的 concurrent.futures里面的，这个是优化4点功能的。 async_executor = ThreadPoolExecut...
python中的asyncio使用详解与异步协程的处理流程分析
ceba20200309的博客
09-23 1467
python中的asyncio使用详解与异步协程的处理流程分析
python 使用协程asyncio加run_in_executor线程池处理同时下载多文件
wulong710的专栏
11-01 4571
同时下载多文件，碰到阻塞的函数则用run_in_executor来新开线程跳过阻塞 # coding=utf-8 import asyncio import os import requests async def downOne(loop, url): name = os.path.basename(url) print("downOne:start {}".format(name)) # loop = asyncio.get_event_loop() # req
Python从小白到高手实现系列二百二十一：有用的设计模式
Mr_Roki的博客
03-24 349
本书是这个领域中的重要著作，它收录了23 种设计模式，并使用SmallTalk 和C++编写了示例。更安全的方式是使用更先进的技术—元类（metaclasses）。除了工厂设计模式，在Python 中，GoF 中唯一值得注意的其他创建型设计模式是单例。要单例，为什么不使用带有函数的模块，因为Python 模块已经是单例了？这些是编译型语言（如C 或C ++）中非常重要的模式，因为在运行时难以生成需要的类型。本章介绍了Python 中最有用的以及最值得大家讨论的模式，以及实现示例。用程序通常被声明为单例。
Python之loop.run_in_executor
无风听海
09-05 986
特点内容功能异步执行阻塞的同步函数用法默认线程池用于场景文件 I/O、网络请求、同步数据库操作、CPU 密集计算替代方案。
python 多线程 异步_python并发编程-多线程同步异步处理
weixin_39653448的博客
12-04 239
在学习python多进程时，进程上运行的方法接收多个参数和多个结果时遇到了问题，现在经过学习在这里总结一下Pool.map()多参数任务在给map方法传入带多个参数的方法不能达到预期的效果，像下面这样def job(x ,y):return x * yif __name__ == "__main__":pool = multiprocessing.Pool()res = pool.map(job,...
python异步多线程
Mars1533的博客
04-27 6194
Python异步多线程 首先，我们需要先明白同步和异步的区别： 同步：同步是指一个进程在执行某个请求的时候，如果该请求需要一段时间才能返回信息，那么这个进程会一直等待下去，直到收到返回信息才继续执行下去。 异步：异步是指进程不需要一直等待下去，而是继续执行下面的操作，不管其他进程的状态，当有信息返回的时候会通知进程进行处理，这样就可以提高执行的效率了，即异步是我们发出的一个请求，该请求会在后台自动发出并获取数据，然后对数据进行处理，在此过程中，我们可以继续做其他操作，不管它怎么发出请求，不关心它怎么处理数据
Python 异步编程 多线程
weixin_52026996的博客
03-18 2302
简介： 异步编程是以进程、线程、协程、函数/方法作为执行任务程序的基本单位，结合回调、事件循环、信号量等机制，以提高程序整体执行效率和并发能力的编程方式。本文主要介绍Python 中threading多线程的使用，以及相关的示例代码。 1、同步和异步 通常来说，程序都是顺序执行，同一时刻只会发生一件事。如果一个函数方法依赖于另一个函数方法的结果，它只能等待那个函数方法结束才能继续执行，从用户的角度来说，整个程序才算运行完毕。同步是指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，
python使用run_in_executor线程池结合requests.get函数下载，使用functools.partial偏函数赋值
wulong710的专栏
12-25 1267
functools.partial用来冻结函数的参数，类似js中的 function.bind函数绑定 例子： # coding=utf-8 import functools def deal(x, y, z): print("x = {}, y = {}, z = {}".format(x, y, z)) def callFunc(): call = functools.partial(deal, x=8, y=9, z="hellkew") call() if __n
python异步编程、多线程、多进程原理
every place is the center of the universe
03-05 2193
【代码】多进程/进程 python。
在用异步编程时，遇到这个保错:RuntimeError: no running event loop 我的代码是import asyncio import websockets async def echo(websocket, path): async for message in websocket: print(f"收到消息: {message}") await websocket.send(f"服务器回应: {message}") # 启动 WebSocket 服务器 start_server = websockets.serve(echo, "localhost", 8765) asyncio.get_event_loop().run_until_complete(start_server) asyncio.get_event_loop().run_forever()
07-16
<think>我们正在解决用户的问题：Python asyncio RuntimeError: no running event loop 的解决方法。 根据引用内容，我们知道这个错误通常发生在没有运行的事件循环时尝试使用异步功能。下面我们将逐步解释错误原因并提供解决方案。 错误原因： 在异步编程中，事件循环（Event Loop）是核心，负责调度和执行异步任务。当我们在没有启动事件循环的环境中直接调用异步函数或使用需要事件循环的异步操作时，就会抛出`RuntimeError: no running event loop`错误。 常见场景： 1. 在非异步函数中直接调用异步函数（例如在普通函数中直接`await`）。 2. 在未启动事件循环的线程中执行异步代码。 3. 在已经关闭的事件循环中尝试运行异步任务。 解决方案： 根据引用[1][2][3][4]中的信息，我们可以采用以下方法： 方法1：使用`asyncio.run()`来运行顶层入口点（适用于Python 3.7+） 在程序的主入口，使用`asyncio.run(main())`来运行异步主函数。注意：`asyncio.run()`每次调用都会创建一个新的事件循环，并在结束时关闭它。因此，不要在已经运行事件循环的代码中调用`asyncio.run()`（这会导致另一个错误，如引用[4]所述）。 示例： ```python import asyncio async def main(): # 你的异步代码 pass if __name__ == '__main__': asyncio.run(main()) ``` 方法2：手动管理事件循环 如果你需要在同一个线程中多次运行异步代码，或者需要更精细的控制，可以手动管理事件循环。 示例： ```python import asyncio async def my_coroutine(): print("Hello") loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) # 设置为当前线程的事件循环 try: loop.run_until_complete(my_coroutine()) finally: loop.close() ``` 方法3：在已经运行事件循环的环境中获取当前事件循环 如果你确定当前线程已经有一个正在运行的事件循环（例如在异步函数内部），可以使用`asyncio.get_running_loop()`来获取当前事件循环（Python 3.7+）。注意，在异步函数内部，应该使用`get_running_loop`而不是`get_event_loop`，因为后者可能在没有事件循环时抛出异常。 示例（在异步函数内部）： ```python import asyncio async def my_async_function(): loop = asyncio.get_running_loop() # 获取当前正在运行的事件循环 # 使用loop进行异步操作 ``` 方法4：使用`asyncio.get_event_loop()`的注意事项 在Python 3.10中，`asyncio.get_event_loop()`在没有事件循环时会抛出`RuntimeError`。因此，在不确定是否有事件循环时，可以使用以下方式： ```python try: loop = asyncio.get_event_loop() except RuntimeError: loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) ``` 方法5：在Jupyter Notebook等环境中使用 在Jupyter Notebook中，通常已经有一个正在运行的事件循环。此时，可以使用`nest_asyncio`包（如引用[2]所述）来允许在运行的事件循环中再次运行事件循环。 安装`nest_asyncio`： ```bash pip install nest_asyncio ``` 在代码中应用： ```python import nest_asyncio nest_asyncio.apply() # 然后就可以在已经运行的事件循环中运行异步代码了 ``` 注意事项： - 在异步编程中，确保你的异步调用在事件循环运行的环境中执行。 - 避免在同步代码中直接调用异步函数（除非使用`asyncio.run`或手动启动事件循环）。 - 在编写库代码时，尽量让用户传入事件循环，或者使用`asyncio.get_running_loop()`（在异步上下文中）。 通过以上方法，可以解决`RuntimeError: no running event loop`错误。 如果问题仍然存在，请检查代码结构，确保异步操作在正确的事件循环上下文中执行。 生成相关问题： 1. 如何理解Python中的事件循环（Event Loop）？ 2. 在异步编程中，如何管理多个异步任务？ 3. 使用`asyncio`时，如何避免事件循环的重复创建和关闭？ 4. 在Jupyter Notebook中使用异步编程有什么特殊注意事项？ 5. 如何调试异步代码中的常见错误？</think>### Python asyncio RuntimeError: no running event loop 解决方法 #### 错误原因分析 `RuntimeError: no running event loop` 错误发生在以下场景： 1. **未启动事件循环时调用异步操作**：在未创建或启动事件循环的上下文中直接调用异步函数 2. **跨线程问题**：在非主线程中未正确设置事件循环 3. **事件循环提前关闭**：手动关闭事件循环后仍尝试执行异步任务 4. **错误调用位置**：在异步函数外部直接使用 `asyncio.get_running_loop()` 而非 `asyncio.get_event_loop()` #### 解决方案 ##### 方法1：显式创建并运行事件循环（推荐） ```python import asyncio async def my_task(): print("执行异步任务") # 正确调用方式 loop = asyncio.new_event_loop() # 创建新事件循环 asyncio.set_event_loop(loop) # 设置为当前线程的事件循环 try: loop.run_until_complete(my_task()) # 运行异步任务 finally: loop.close() # 显式关闭循环 ``` ##### 方法2：使用异步入口点（Python 3.7+） ```python import asyncio async def main(): # 在此处调用异步函数 await my_task() if __name__ == "__main__": asyncio.run(main()) # 自动管理事件循环生命周期 ``` ##### 方法3：在异步上下文中获取当前循环 ```python import asyncio async def proper_usage(): # 正确：在异步函数内获取运行中的循环 loop = asyncio.get_running_loop() await loop.run_in_executor(None, blocking_func) # 错误示例（会导致报错）： # loop = asyncio.get_running_loop() # 在非异步上下文调用 ``` ##### 方法4：跨线程解决方案 ```python import asyncio from threading import Thread def worker(): # 每个线程需要独立事件循环 loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) loop.run_until_complete(async_task()) Thread(target=worker).start() ``` ##### 方法5：检查事件循环状态 ```python import asyncio def safe_async_call(): try: loop = asyncio.get_running_loop() except RuntimeError: # 无运行中的循环 loop = asyncio.new_event_loop() asyncio.set_event_loop(loop) return loop ``` #### 最佳实践建议 1. **入口点统一**：程序入口始终使用 `asyncio.run(main())` 2. **避免混合同步/异步**：不要在同步函数中直接调用 `await` 3. **线程隔离**：每个线程维护独立事件循环 4. **资源清理**：使用 `try/finally` 确保循环关闭 5. **版本兼容**：Python < 3.7 需使用显式循环管理 > 关键点：`asyncio.get_running_loop()` 只能在已启动事件循环的上下文中调用，而 `asyncio.get_event_loop()` 在无循环时会自动创建（但需后续手动运行）[^3][^4]。 --- #### 相关问题 1. `asyncio.run()` 和手动事件循环管理的主要区别是什么？ 2. 如何在多线程应用中安全使用 asyncio 事件循环？ 3. Python 异步编程中 `get_event_loop()` 和 `get_running_loop()` 有何本质区别？ 4. 为什么在 Jupyter Notebook 中运行异步代码需要特殊处理？ 5. 异步任务未正常关闭可能导致哪些资源泄漏问题？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值