Python asyncio 高级应用指南

Python Asyncio 全面指南 asyncio 是 Python 用于编写并发代码的库,使用 async/await 语法。它特别适合 I/O 密集型和高并发应用,如网络服务、网络爬虫等。 阅读详情

Python asyncio 高级应用指南

1. asyncio 基础

asyncio 是 Python 3.4+ 引入的异步 I/O 框架,它允许我们编写异步代码,提高程序的并发性能。

import asyncio

async def main():
    print("Hello")
    await asyncio.sleep(1)
    print("World")

# 运行异步函数
asyncio.run(main())

2. 高级 asyncio 技巧

2.1 任务管理

import asyncio

async def task1():
    await asyncio.sleep(1)
    print("Task 1 completed")
    return "Task 1 result"

async def task2():
    await asyncio.sleep(2)
    print("Task 2 completed")
    return "Task 2 result"

async def main():
    # 创建任务
    task1_obj = asyncio.create_task(task1())
    task2_obj = asyncio.create_task(task2())
    
    # 等待任务完成
    result1 = await task1_obj
    result2 = await task2_obj
    
    print(f"Results: {result1}, {result2}")

asyncio.run(main())

2.2 并发执行

import asyncio

async def fetch_data(id):
    await asyncio.sleep(1)
    return f"Data {id}"

async def main():
    # 并发执行多个任务
    results = await asyncio.gather(
        fetch_data(1),
        fetch_data(2),
        fetch_data(3)
    )
    print(f"Results: {results}")

asyncio.run(main())

2.3 超时处理

import asyncio

async def slow_operation():
    await asyncio.sleep(2)
    return "Operation completed"

async def main():
    try:
        # 设置超时
        result = await asyncio.wait_for(slow_operation(), timeout=1)
        print(f"Result: {result}")
    except asyncio.TimeoutError:
        print("Operation timed out")

asyncio.run(main())

2.4 事件循环

import asyncio

async def main():
    print("Hello")
    await asyncio.sleep(1)
    print("World")

# 获取事件循环
loop = asyncio.get_event_loop()

# 运行协程
loop.run_until_complete(main())

# 关闭事件循环
loop.close()

3. 实际应用场景

3.1 网络请求

import asyncio
import aiohttp

async def fetch_url(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    urls = [
        "https://api.github.com",
        "https://api.example.com",
        "https://api.google.com"
    ]
    
    # 并发请求
    tasks = [fetch_url(url) for url in urls]
    results = await asyncio.gather(*tasks)
    
    for url, result in zip(urls, results):
        print(f"URL: {url}, Length: {len(result)}")

asyncio.run(main())

3.2 文件 I/O

import asyncio

async def read_file(filename):
    async with open(filename, 'r') as f:
        content = await f.read()
    return content

async def write_file(filename, content):
    async with open(filename, 'w') as f:
        await f.write(content)

async def main():
    # 读取文件
    content = await read_file('input.txt')
    print(f"Read content: {content}")
    
    # 写入文件
    await write_file('output.txt', content.upper())
    print("File written")

asyncio.run(main())

3.3 数据库操作

import asyncio
import asyncpg

async def main():
    # 连接数据库
    conn = await asyncpg.connect(
        host='localhost',
        port=5432,
        user='postgres',
        password='password',
        database='test'
    )
    
    # 执行查询
    rows = await conn.fetch('SELECT * FROM users')
    for row in rows:
        print(row)
    
    # 关闭连接
    await conn.close()

asyncio.run(main())

3.4 Web 服务器

import asyncio
from aiohttp import web

async def handle(request):
    name = request.match_info.get('name', "Anonymous")
    return web.Response(text=f"Hello, {name}!")

async def main():
    app = web.Application()
    app.add_routes([
        web.get('/', handle),
        web.get('/{name}', handle)
    ])
    
    runner = web.AppRunner(app)
    await runner.setup()
    site = web.TCPSite(runner, 'localhost', 8080)
    await site.start()
    
    print("Server started on http://localhost:8080")
    await asyncio.Event().wait()

asyncio.run(main())

4. 最佳实践

  1. 使用 async 和 await:使用 async 定义异步函数,使用 await 等待异步操作完成。
  2. 使用 asyncio.create_task:使用 asyncio.create_task 创建任务,实现并发执行。
  3. 使用 asyncio.gather:使用 asyncio.gather 并发执行多个任务,收集结果。
  4. 使用 asyncio.wait_for:使用 asyncio.wait_for 设置超时,避免任务无限等待。
  5. 使用 async with:使用 async with 管理异步上下文,确保资源正确释放。
  6. 避免阻塞操作:在异步函数中避免使用阻塞操作,如 time.sleep(),应使用 asyncio.sleep() 替代。
  7. 合理使用事件循环:根据应用场景选择合适的事件循环运行方式。

5. 总结

asyncio 是 Python 中强大的异步 I/O 框架,它允许我们编写高效的并发代码。通过掌握 asyncio 的高级应用,我们可以编写更加高效、响应迅速的应用程序。

在实际应用中,asyncio 可以用于网络请求、文件 I/O、数据库操作、Web 服务器等多种场景,大大提高应用程序的并发性能和响应速度。

希望本文对你理解和应用 Python asyncio 有所帮助!

Python asyncio 模块 asyncio是 Python 标准库中的一个模块,用于编写异步 I/O 操作的代码。asyncio 提供了一种高效的方式来处理并发任务,特别适用于 I/O 密集型操作,如网络请求、文件读写等。通过使用asyncio,你可以在单线程中同时处理多个任务,而无需使用多线程或多进程。 阅读详情

相关推荐

【Python】asyncio

在本章中,我们将深入探究Python生成器的最底层机制。我们将从迭代器协议的本质出发,逐步揭示关键字的魔力,以及它如何将一个普通函数转化为拥有暂停与恢复能力的生成器。此外,我们还将覆盖生成器表达式的简洁性与效率,并详细剖析生成器高级控制方法,如、和,理解它们在构建复杂控制流中的关键作用。在Python中,迭代是一个核心概念。它允许我们遍历集合中的元素,无论是列表、元组、字符串还是其他更复杂的数据结构。实现这种遍历行为的背后,是Python的迭代协议(Iteration Protocol)。理解这个协议是理解

宅男很神经 846

Python Asyncio 高级应用指南

Asyncio 是 Python 中处理并发的强大工具,特别适合 I/O 密集型任务。通过掌握其高级特性,我们可以编写更加高效、可维护的异步代码。在实际应用中,我们可以使用 Asyncio 构建高性能的网络应用、数据库操作和 Web 服务器,充分发挥 Python 的并发能力。希望本文对你理解和应用 Asyncio 有所帮助!

no1coder的博客 1027

Python异步编程进阶:深入探索asyncio高级特性

本篇深入Python异步生态的高级特性,涵盖异步上下文管理器(资源安全)、生成器(数据流处理)、队列(生产者-消费者模式)三大核心工具,并演示多线程与asyncio的混合使用方案。通过WebSocket消息处理、连接池优化等实战场景,详解任务取消、信号处理和调试技巧。特别提供批处理模式、信号量控制等性能优化手段,解决"如何优雅关闭服务""控制并发度"等工程难题,适合已掌握基础、需构建复杂异步系统的开发者提升架构能力。

qq_16226939的博客 1028

Python 异步编程从基础到高级全面指南

本文全面介绍了Python异步编程的核心概念与实践方法。主要内容包括:1) 异步编程基础(同步与异步对比、协程、事件循环);2) asyncio库的基础使用(async/await语法、并发执行);3) 核心组件详解(Future、异步迭代器);4) 实战应用(网络请求aiohttp、异步文件与数据库操作);5) 高级主题(任务管理、性能优化)。适用于高IO密集型场景,通过事件循环和协程提升并发效率,提供从入门到实战的完整指南。

servepeople的博客 1748

腾讯股票接口API(1)——根据股票代码获取详情

获取股票简要信息,找来找去也没有找到官方的文档,都是复制粘贴的,这里先简单记录一下。 1.简要信息 以贵州茅台为例: http://qt.gtimg.cn/q=s_sh600519 // sh600519是贵州茅台的股票代码,根据自己的关键字拼接URL 可以直接在Android项目中请求,会得到如下一串字符串: v_s_sh600519="1~贵州茅台~600519~2075.95~42.95~2.11~38930~794942~~26078.04~GP-A"; 这里v_s代表简要信息,sh600519

GeofferySun的专栏 6万+

【实验】Linux下完全卸载oracle单实例(亲身体验完整版)

停止oracle数据库服务 停止监听 卸载数据库实例 因为自己懒得再弄dbca图形化界面啥的,直接采用dbca静默删除数据库实例,命令如下 dbca -silent -deleteDatabase -sourcedb orclhq -sid orcl -sysDBAUserName orcl -sysDBAPassword zte [oracle@slave ~]$ dbca -silent ...

萝卜吃鱼914的博客 1945

Python开发从入门到精通:异步编程进阶与asyncio高级应用

本文介绍了Python异步编程的高级技巧与asyncio库的高级应用。主要内容包括:异步编程概念及其高性能、高并发优势;asyncio库在协程调度、任务管理、异步IO操作和并发控制方面的应用;两个实战案例展示:异步爬虫实现网页抓取与解析(使用aiohttp和BeautifulSoup),以及异步Web服务器开发(处理HTTP请求、文件读取和数据库操作)。通过代码示例详细演示了如何使用信号量进行并发控制,以及如何构建完整的异步应用程序。学习重点在于掌握协程调度、任务管理等核心概念,并能实际应用于项目开发中。

编程世界如山海,探索不止。 1万+

武汉理工大学 python实验三

请编一个程序,用户在同一行内输入两个整数,代表头和脚的数量,编程计算笼中各有多少只鸡和兔(假设鸡和兔都正常,无残疾),如无解则输出`“Data Error!题目为:今有物不知其数,三三数之剩二,五五数之剩三,七七数之剩二,问物几何?年前,《孙子算经》中记载一个有趣的问题:今有雉兔同笼,上有三十五头,下有九十四足,问雉兔各几何?有一座八层宝塔,每一层都有一些琉璃灯,每一层的灯数都是上一层的二倍,已知共有。编写一个宝塔上的琉璃灯的小程序,计算并输出每层各有多少盏琉璃灯。,如果有多个解,则分行输出,每行一个解;

2401_83472225的博客 5950

5个你必须知道的aiomonitor高级特性:提升asyncio应用可观测性

aiomonitor是为asyncio应用提供监控和Python REPL功能的强大工具,能帮助开发者实时掌握应用运行状态并进行高效调试。通过本文介绍的5个高级特性,你将学会如何利用aiomonitor提升asyncio应用的可观测性和调试效率。 ## 1. 交互式Telnet监控终端:实时掌握任务状态 aiomonitor提供了功能完备的Telnet监控终端,让你可以通过命令行实时查看和管理

gitblog_00785的博客 992

博图软件V15.1安装教程

博途软件安装

m0_46266496的博客 1万+

Android AVB 分析(十三)dm-verity 设备是如何映射的?

在上一篇《Android AVB 分析(十二)嵌入式设备安全中的 dm-verity 简介》介绍 dm-verity 原理的时候,作者提供了一个 dm-verity 演示的例子。本篇我们基于 AOSP 源码 `android-13.0.0_r41` 实际编译生成的 Google Pixel 7 (“panther”) 设备的 system 分区镜像进行 dm-verity 设备验证实战。

洛奇看世界 2440

python asyncio入门指南

coroutine包含两个概念对于coroutine function 和 coroutine object 我们都称之为 coroutine。首先由async def定义的函数被称为coroutine function,如下第3行代码中的#下面的代码什么也不会做在上面的例子中,与普通的函数不同是,第9行调用coroutine function什么也发生,coroutine function内部的语句也不会被执行,它只会默默地返回一个coroutine object。如上所示,并不会执行,

2201_75632987的博客 1745

《QEMU/KVM源码分析与应用》读书笔记1 —— 第1章 QEMU与KVM概述

《QEMU/KVM源码分析与应用》学习笔记1 —— 第一章 QEMU与KVM概述

phmatthaus的专栏 1989

python之asyncio三种应用方法

await asyncio.gather(t1,t2) #并发运行任务asyncio.run(main()) #调用函数main()3、创建任务(asyncio.create_task),并发运行任务(await asyncio.gather)print("mony吃了一个鱼丸,现在锅里还有%s个鱼丸"%len(arr))t1 = asyncio.create_task(produce()) #创建任务。print("小明放了一个鱼丸,现在锅里还有%s个鱼丸"%len(arr))

hakesashou的博客 761

基于 STM32 的手持式安检金属探测器设计与实现

【代码】基于 STM32 的手持式安检金属探测器设计与实现。

weixin_42300449的博客 901

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Python asyncio 完全指南

Python asyncio异步编程指南 本文全面介绍了Python标准库asyncio的使用方法和实现原理。asyncio是Python 3.4+引入的异步I/O框架,通过事件循环和协程实现单线程高并发,特别适合I/O密集型任务。 核心概念包括协程、事件循环、await关键字、Task和Future。文章详细讲解了基础用法,如运行协程的三种方式、任务管理和并发执行。 内部机理部分深入分析了事件循环的工作原理、协程状态转换和底层实现,通过伪代码展示了调度过程。 对比分析了asyncio与多线程/多进程的区别

weixin_49354660的博客 1582

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Python异步编程:asyncio高效并发指南

本文介绍了Python异步编程库asyncio的核心用法。主要内容包括:1)async/await基础语法,通过事件循环实现协程的暂停与唤醒;2)asyncio.run()作为程序启动器;3)asyncio.gather()实现并发执行多个协程;4)aiohttp库在网络请求中的实际应用;5)create_task()提供更灵活的任务控制。文章通过多个示例演示了异步编程的优势,比较了gather和create_task的适用场景,并强调了异步I/O操作的关键注意事项。

YuYe_1990的博客 1183

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

gRPC Python AsyncIO API 完全指南:基于 asyncio 的 gRPC 异步编程架构与实践

gRPC AsyncIO API(即 `grpc.aio`)是 gRPC Python 面向原生 AsyncIO 体系重构的全新 API 层:它复用与既有技术栈相同的 C 扩展(gRPC C-Core),同时用 AsyncIO 原语替换全部 gRPC 阻塞式 I/O 操作,使客户端与服务器得以在同一事件循环内以协程方式运行。本文基于官方 API 参考文档及其源码实现,系统梳理 `grpc.aio`

gitblog_00409的博客 869

python asyncio教程

asyncio 是 Python 的异步 I/O 框架,它让编写高性能的并发程序变得简单。本教程将从基础概念开始,逐步深入到高级特性,包括协程、任务、事件循环、同步原语等核心概念,并通过实际项目帮助你掌握 asyncio 的使用方法。无论你是初学者还是有经验的开发者,都能通过这个教程系统地学习 asyncio。

cuber膜拜的博客 1287

一文看懂Python协程asyncio模块的演变及高级用法

网上很多关于Python协程asyncio模块的教程都是基于老版Python的, 本文将以对比方式展示新老Python版本下协程的写法有什么不同并总结了asyncio的一些高级用法, 包括...

大江狗 1586

Python asyncio的基本使用

异步程序

qq_40851623的博客 1684

Python异步编程:深入探索asyncio库的高级功能与最佳实践

在Python中,异步编程是提高程序执行效率尤其是I/O密集型任务处理效率的重要手段。通过使用协程和事件循环,异步编程允许程序在等待某些操作完成时继续执行其他任务,从而更有效地利用资源,Python异步编程主要基于协程实现。协程,也称为微线程,是一种用户态内的上下文切换技术,允许在单个线程中互相切换执行的代码块。这种切换无需内核参与,因此开销较小。在Python中,协程可以通过生成器、greenlet、asyncio库以及Python 3.5中引入的async和await关键字来实现。

4.0啊的博客 1882

快速入门Python的异步库:asyncio

这个时候,我们的就会希望把耗时的网络操作,或者是界面刷新分为两个线程干,但是互相不关心两者的关系(只是接口关系),面对这样的耗时的但却两者不相关的操作的时候,我们往往希望给它们进行分离。(何为接口上的关系呢:我只是希望调用这个接口,并且在完成这个工作后告诉我这一接口实行的功能返回给我的结果是如何的,而并不关心内部到底如何运作!这样的任务就是我们的目标。是一个异步的睡眠函数,它不会阻塞程序的执行,而是将控制权返回给事件循环。时,它会暂停该函数的执行,直到等待的异步操作完成,然后继续执行。执行结束并返回结果。

charlie114514191的博客 1598

Python asyncio 方法详解:功能、应用与参数解析

本文系统分类整理了Python asyncio模块的所有核心方法,从事件循环管理、任务控制、并发执行、时间操作到同步机制等八大类别,详细解析了每个方法的参数、功能和应用场景。文章提供了丰富的代码示例和最佳实践指南,并补充了Python 3.11+新增的高级特性如任务组。通过综合应用示例展示了如何在实际项目中组合使用这些方法解决复杂问题。

YAnt的博客 1280
上一篇: Rust 模块系统和可见性控制高级应用指南
下一篇: Python 上下文管理器高级应用指南
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值