Python进阶:百万「并发」基础之异步编程(下篇)

python学习之异步编程————asyncio(百万并发) 最近开始整理python的资料,博主建立了一个qq群,希望给大家提供一个交流的平台 78486745 。 前言:python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率,弥补了python性能方面的短板,如微服务框架japronto,每秒请求数可达百万级。 python还有一个优势是库(第三方库)极... 阅读详情

Python进阶:百万「并发」基础之异步编程(下篇)

HackPython致力于有趣有价值的编程教学

简介

在上一节中,了解了yield、yield from等概念,此时Python以及具有编写协程实现「回调」的能力,而「回调」是异步编程的基础,随后Python语言的开发者利用yield from能力,在Python3.4中引入了异步I/O框架asyncio,该框架在Python3.5中被完善并作为标准库之一,用于基于协程的异步I/O编程,本节就来讨论一下asyncio以及async/await等内容。

关键概念

在Python3.4中引入了asyncio.coroutine装饰器来标志函数作为协程函数,协程函数具有协程的特性并与asyncio的事件循环一同使用,实现异步编程的目的,为了避免生成器与协程之间的混淆,在Python3.5中引入了async/await,其中async替代asyncio.coroutine装饰器,await替代yield from,从而让协程的实现更加直观,async/await和yield frome这两种不同风格的协程在底层其实是相互复用相互兼容的,在Python3.6中asyncio库“转正”,成为正式的标注库。

这里只讨论新的写法,即async/await实现协程的方式,Python中协程主要的特性如下:

?1.函数使用了async表达式开头,即使它不包含await表达式,也是一个协程函数
?2.async协程函数中使用yield或者yield from会阐释SyntaxError错误,即新旧语法不可混合使用
?3.与常规生成器类似,协程函数在调用时会返回一个coroutine对象
?4.与yield方式实现的协程不同,yield在最后会抛出Stoplteration异常,而async中则是RuntimeError
?5.当async创建的协程函数被垃圾回收时,一个未被await的协程会抛出RuntimeWarning异常。

在使用asyncio框架前,需要先了解其中几个概念。

Coroutine 协程

以async表达式开头的函数成为协程函数或简称为协程,如下:

import asyncio
async def main():
    print('hello')
    await asyncio.sleep(1)
    print('world')
asyncio.run(main())

上述代码中,main() 为协程函数,其写法是Python3.7的写法,Python3.7中对asyncio的使用做了简化,?如果你使用python3.6为主,其asyncio写法如下:

import asyncio
async def main():
    print('hello')
    await asyncio.sleep(1)
    print('world')

def run():
    # 创建协程对象
    coroutine = main()
    # 创建事件循环
    loop = asyncio.get_event_loop()
    # 将协程对象添加到事件循环中,运行直到结束
    loop.run_until_complete(coroutine)
    # 关闭事件循环
    loop.close()

run()

可以看出,Python3.6中asyncio的用法会复杂一下,在Python3.7中,run()方法已经为我们处理好了创建事件、添加协程对象到事件循环、关闭事件循环等事情?,即

loop asyncio.get_event_loop()
loop.run_until_complete(main())
loop.close()

# 在Python3.7中被替换为

asyncio.run()

当然,asyncio也支持传统的基于生成器的协程,不再多提。

Awaitables 可等待对象

「可等待对象」通常有3类,分别是:

?1.协程 coroutine
?2.任务 Task
?3.未来对象 Future

一个直观的判断方法就是,如果一个对象能够被用在 await 表达式中,那么就可以称这个对象为 「可等待对象」

简单示例如下:

import asyncio

async def myprint():
    print('hello hackpython')

async def main():
    # 直接调用,创建协程对象,不会执行协程中的内容
    myprint()
    # 协程对象成为被等待对象后,才会执行其中的内容
    await myprint()

asyncio.run(main())

上述代码会输出如下内容:

use_asyncio4.py:8: RuntimeWarning: coroutine 'myprint' was never awaited
  myprint()
RuntimeWarning: Enable tracemalloc to get the object allocation traceback

hello hackpython

从输入内容可以看出,直接使用协程函数是不会执行其中的逻辑的,而且还会因为没有使用而触发相应的警告,?只有利用await成为可等待对象后,才会被asyncio事件循环去执行。await会将控制权交由可等待对象。

Task 任务

「任务」主要用于「并发」的调度协程。

一个协程可以通过asyncio.create_task()函数封装成一个Task,此时这个协程很快就会被自动调度执行,代码如下:

import asyncio

async def fun1():
    print('hackpython')

async def main():
    # 创建任务
    task = asyncio.create_task(fun1())
    # 作为被等待对象
    await task

asyncio.run(main())

asyncio.create_task() 是 Python 3.7 新增的方法,如果是Python3.6还可以用 asyncio.ensure_future 和 loop.create_task?。

可以将Task理解为协程对象的进一步封装,其中包含着各种状态,简单使用如下:

async def a():
    print('a funtion start.')
    await  asyncio.sleep(2)
    print('a function end.')

async def main():
    # task = asyncio.ensure_future(a())
    task = asyncio.create_task(a())
    print(task)
    print(task.done())
    await task
    print(task)
    print(task.done())

if __name__ == '__main__':
    asyncio.run(main())

上述代码输出如下:

<Task pending coro=<a() running at /Users/ayuliao/Desktop/spider/lianjia/use_asyncio1.py:3>>
False
a funtion start.
a function end.
<Task finished coro=<a() done, defined at /Users/ayuliao/Desktop/spider/lianjia/use_asyncio1.py:3> result=None>
True

从输出内容可以看出,一开始Task任务的状态为pending(等待状态),调用其done()方法可以判断该任务是否执行?,可以看出,没有利用await将其转为可等待对象前,Task任务是没有执行的,使用await后,即将控制权交由task对象,此时再次打印,发现其状态改变为finshed(完成状态),调用done()方法后可得该任务被正常执行了?。

Future 未来对象

Future代表着一个未来对象,当异步操作结束后会将最终的结果设置到Future对象上,Future同样是对协程的封装,它是一个偏底层的类,具有比较多的方法可以做一些复杂的操作,但在日常开发时,并不会去使用?,更多的是使用其Task任务,它其实是Future的一个子类?。

Eventloop事件循环

使用 asyncio 框架时,其实就是开启一个事件循环,事件循环对应的实例提供了注册、取消、执行与回调等方法,方便控制整个事件循环实例。

所谓事件循环,就是将协程函数、任务 Task、未来对象 Future 等注册到事件循环中,事件循环实例会循环执行这些函数?,注意同一时刻下只执行某个函数对象,具体执行某个函数时,如果执行到函数中进行 I/O 耗时操作的部分,事件循环就会将该函数暂停,而去执行其他函数,等进行 I/O 耗时操作的函数执行完后,会再次加入循环队列,等事件循环下次循环到它时继续从此前位置执行,从而实现这些可异步操作对象的协同运行,达到并发的效果?。

结尾

asyncio是Python中比较复杂但又非常重要的概念,在 百万「并发」基础之异步编程 上、中、下三篇文章中比较系统的讨论了异步编程的概念以及在Python中的实现方式?,但对生成器、yield from以及asyncio等依旧没有深入探讨?,在HackPython后面的文章中,会系统性讨论这些概念,最后欢迎学习 HackPython 的教学课程并感觉您的阅读与支持。

??

python异步编程之asyncio(百万并发) 一、asyncio 下面通过举例来对比同步代码和异步代码编写方面的差异,其次看下两者性能上的差距,我们使用sleep(1)模拟耗时1秒的io操作。 同步代码: import time def hello(): time.sleep(1) def run(): for i in range(5): hello() print(‘Hello World:%s’... 阅读详情

相关推荐

【Python基础结篇】-百万级并发系统案例 - 从架构设计到性能优化(附聊天系统源码)

高并发架构、Python异步编程、分布式系统、性能优化、WebSocket高并发系统的架构设计是整个系统的基础,一个设计良好的架构能够让系统在面对高并发场景时保持稳定。我在设计某直播平台后台时,就深刻体会到架构设计对系统稳定性的重要性。传统的单体架构在高并发环境下很容易成为瓶颈。在实践中,我发现将系统划分为多个松耦合的层级是应对高并发的第一步。 这种分层设计允许我们独立扩展和优化每一层,当某一层面临性能瓶颈时,可以单独对该层进行水平扩展,而不影响其他层级。在设计高并发系统时,将无状态服务和有状态服务分离是一

老何的专栏 1417

Python Web自动化报错: ResourceWarning: Enable tracemalloc to get the object allocation traceback

原因:在执行线性脚本完毕时,没有及时释放相应资源,导致内存堆积,从而造成内存溢出(如关闭浏览器等操作)导入warnings包,去除警告。

dreamasljglgf的博客 2419

gitMC:并发的纯Python异步+ Git:管理大量(超过100个)Git存储库

GitMC-并发异步Git实用程序,用于对大量Git存储库进行操作 与平台无关的(Linux / Mac / Windows)Git实用程序,用于管理大量(超过100个)Git存储库。 在整个过程中,速度是重点,并通过Python asyncio和流水线实现并发。 通常,GitMC可与所有GitHub存储库一起使用,包括组织私有存储库-假设您已创建具有适当权限的GitHub Oauth密钥(私有组织/用户存储库需要“ repo”)。 GitMC使用命令行Git,因为PyGit还需要安装命令行Git,而我们不需要高级功能。 另请参阅以管理大量(100多个)用户/团队。 安装 以可从命令行访问的方式安装Git Mac: brew install git Linux: apt install git Windows:命令行 。 python -m pip install -e . 用法 gitbranch告诉目录〜/ code下的任何非主分支 gitemail列出所有贡献者的电子邮件地址。 要修复不需要的电子邮件,请使用 find_missing_file :查找缺少文件的完整

Python学习笔记16:测试基础

测试驱动的编程测试四部曲。

qq_36333986的博客 1172

详解python异步编程之asyncio(百万并发)

主要介绍了详解python异步编程之asyncio(百万并发),小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧

Docker 与容器技术的未来:从 OCI 标准到 eBPF 的演进

OCI 的核心目标是创建一个开放的、厂商中立的容器技术标准。这意味着,只要一个容器镜像符合 OCI 镜像格式规范,它就可以在任何符合 OCI 运行时规范的容器运行时上运行。eBPF 是一种革命性的技术,它允许在 Linux 内核中安全地运行沙盒程序,而无需修改内核源代码或加载内核模块。这些程序可以注册到内核中的各种事件点(如网络包到达、系统调用、函数调用/返回),并在事件发生时执行自定义逻辑。核心思想是:在不将数据复制到用户空间的情况下,程序可以直接在内核中处理数据,极大地提高了效率和性能。

专栏 1384

RuntimeWarning: Enable tracemalloc to get the object allocation traceback

RuntimeWarning: Enable tracemalloc to get the object allocation traceback

weixin_53704902的博客 778

避坑指南:海康MV_CC_SetIntValue接口的7个典型报错解决方案

本文深度解析海康工业相机SDK中MV_CC_SetIntValue接口的典型报错,提供7个实战解决方案。针对MV_E_CALLORDER、MV_E_PARAMETER等高频错误码,从设备状态、参数值域、依赖关系等核心约束入手,给出清晰的诊断流程与根治代码,帮助开发者构建健壮的参数设置模块,提升开发效率。

y2z3a4b5c的博客 1082

用 Python 实现每秒处理 120 万次 HTTP 请求

用 Python 做到每秒处理上百万次 HTTP 请求,可能吗?也许不能,但直到最近,这已成为现实。 很多公司都在为了提升程序的执行性能和降低服务器的运营成本,而放弃 Python 去选择其它编程语言,其实这样做并不是必须,因为 Python 完全可以胜任这些任务。 Python 社区最近做了大量关于性能的优化。CPython 3.6 重写了新的字典从而全面提升解析器的执行性能。由于引入更快的...

python学习者的博客 1万+

基于紫光展锐平台的音频调用到hal层逻辑

基于紫光展锐平台的音频调用到hal层逻辑 1、数据流程图 AudioPolicyService和AudioFlinger的创建: 这两个服务都在audioserver中启动,文件路径: frameworks/av/media/audioserver/main_audioserver.cpp 从AudioFlinger和AudioPolicyService的创建,到output的打开,以及AudioFlinger开始往底层写入数据的具体流程如下图: #mermaid-svg-kjHL4XWwkQXN6NdA

weixin_55053963的博客 1355

RTL优化与PPA分析:数字电路设计的关键技术

在数字集成电路设计中,RTL(寄存器传输级)优化是提升芯片性能、降低功耗和减小面积的核心技术。通过PPA(Power-Performance-Area)指标的平衡,工程师可以在不同时序约束下实现设计的最优化。本文基于Synopsys Design Compiler和开源工具Yosys的实验数据,展示了RTL优化在算术单元和控制逻辑中的显著效果,特别是在乘法器和除法器等复杂运算模块中。文章还探讨了AI辅助工具在RTL优化中的应用潜力,为数字电路设计提供了实用的技术参考和工程实践建议。

weixin_42186387的博客 622

Python 进阶:百万「并发」基础之异步编程(下篇)

HackPython 致力于有趣有价值的编程教学简介在上一节中,了解了 yield、yield from 等概念,此时 Python 已经具有编写协程实...

weixin_30230009的博客 240

Blazor Session设置

微软官方封装了一些浏览器的操作,其中就有Session的操作的封装ProtectedSessionStorage 微软文档因为我们知道,依赖注入的生命周期是Singleton程序Scoped网页:刷新,url直接跳转都会重置。Transient路由C# Blazor 学习笔记(10):依赖注入但是没有一个和浏览器绑定的生命周期。即浏览器关闭才会退出。这个是后端无法获取的,因为后端根本不知道浏览器何时关闭。这个只能用浏览器自带的缓存。

qq_44695769的博客 1789

python 百万并发_Python进阶:百万「并发」基础之异步编程(下篇)

Python进阶:百万「并发」基础之异步编程(下篇)HackPython致力于有趣有价值的编程教学简介在上一节中,了解了yield、yield from等概念,此时Python以及具有编写协程实现「回调」的能力,而「回调」是异步编程的基础,随后Python语言的开发者利用yield from能力,在Python3.4中引入了异步I/O框架asyncio,该框架在Python3.5中被完善并作为标准...

weixin_39572409的博客 212

kubedns-coredns部署pod出现not ready问题

文章目录遇到的问题1、发现问题2、排查问题3、解决方法 coredns的实例health_check不通过的问题,排查和解决方法 遇到的问题 1、发现问题 pod启动但是未ready 查看是readiness失败 使用对应的URL进行curl,发现真的返回503 2、排查问题 查看错误日志,发现一堆这个错误"waiting on : kubernetes" 网上相关的问题解答 这个跟测试场景不一样,这个案例是开了防火墙,可以确认我这个案例的机器没有开防火墙,但它提醒了一点,coredns是需要访问ap

u012533481的博客 2844

Python 爬虫实战:全球渔业船舶捕捞记录数据采集与分析全攻略

通过本项目,我们实现了对全球渔业船舶捕捞记录数据的采集、处理和可视化,为渔业资源管理和海洋生态保护提供了数据支持。未来,可以进一步结合机器学习和深度学习技术,对捕捞行为进行预测和分类,提高对非法捕捞活动的识别能力。

2201_76125261的博客 558

Python 进阶:百万「并发」基础之异步编程(上篇)

HackPython 致力于有趣有价值的编程教学简介因为 GIL (全局锁) 的存在,Python 在运行性能方面一直是个短板,但在 IO 密集型网络编...

weixin_30230009的博客 317

Unity零基础到入门 ☀️| 轻松学会 Unity界面布局和简单实例——入门级!(^_−)☆

入门级Unity知识,一起加油呀!

努力前行,总会成为自己心中的那道光 1万+

Python 进阶:百万「并发」基础之异步编程(中篇)

HackPython 致力于有趣有价值的编程教学简介在上一篇,讨论了阻塞 / 非阻塞、同步 / 异步、并发 / 并行等概念,本节主要来讨论一下生成器、y...

weixin_30230009的博客 218

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

上一篇: Python进阶:百万「并发」基础之异步编程(下篇)
下一篇: Python进阶必学库:使用asyncio实现协程爬虫
二两hackpython
博客等级 码龄9年 13粉丝 16原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值