原来Python的协程有2种实现方式

38 协程并发 在之前的例子中,我们只执行了一个协程任务,如果需要执行多次并尽可能地提高效率该怎么办?我们可以定义一个task列表,然后使用asyncio的wait()方法执行即可,看下面的例子。 【示例 1】协程示例 运行结果如下: 首先定义一个协程任务函数,模拟耗时2秒的任务,这里我们使用了await关键字,根据官方文档说明,await后面的对象必须是如下类型之一。 一个原生coroutine对象。 一个有types.coroutine()修饰的生成器,这个生成器可以返回coroutine对象。 一 阅读详情

什么是协程

在 Python 中,协程(Coroutine)是一种轻量级的并发编程方式,可以通过协作式多任务来实现高效的并发执行。协程是一种特殊的生成器函数,通过使用 yield 关键字来挂起函数的执行,并保存当前的执行状态。协程的执行可以通过 send 方法来恢复,并在下一次挂起时返回一个值。

在 Python 3.4 之前,协程通常使用 yield 关键字来实现,称为“生成器协程”。在 Python 3.4 引入了 asyncio 模块后,可以使用 async/await 关键字来定义协程函数,称为“原生协程”。

协程相比于线程和进程,具有以下优点:

  1. 轻量级:协程的上下文切换成本很小,可以在单线程内并发执行大量的协程。
  2. 低延迟:协程的执行过程中,没有线程切换的开销,也没有加锁解锁的开销,可以更快地响应外部事件。
  3. 高效性:协程的代码通常比多线程和多进程的代码更加简洁和可读,维护成本更低。

协程的使用场景包括网络编程、异步 I/O、数据流处理、高并发任务等。

生成器协程

在 Python 3 中,生成器协程(Generator Coroutine)是指使用生成器函数来实现的协程。生成器函数是一种特殊的函数,其返回一个生成器对象,可以通过 yield 语句暂停函数的执行,然后在下一次调用生成器对象的 「next」() 方法时继续执行。

下面给出一个简单的生成器协程的示例,其中包含一个生成器函数 coroutine 和一个简单的异步 I/O 操作:

import asyncio

def coroutine():
    print('Coroutine started')
    while True:
        result = yield
        print('Coroutine received:', result)

async def main():
    print('Main started')
    c = coroutine()
    next(c)
    c.send('Hello')
    await asyncio.sleep(1)
    c.send('World')
    print('Main finished')

asyncio.run(main())

结果输出:

[root@workhost k8s]# python3 test.py 
Main started
Coroutine started
Coroutine received: Hello
Coroutine received: World
Main finished

来看一下,上面代码的执行过程:

  1. main 函数开始执行,打印出 Main started。
  2. 创建一个生成器对象 c,调用 next© 使其执行到第一个 yield 语句处暂停。
  3. 使用 c.send(‘Hello’) 恢复生成器函数的执行,并将 ‘Hello’ 作为生成器函数的返回值。
  4. 在等待1秒钟的过程中,main 函数暂停执行,等待事件循环发起下一次任务。
  5. 在等待1秒钟后,使用 c.send(‘World’) 继续执行生成器函数,并将 ‘World’ 作为生成器函数的返回值。
  6. main 函数恢复执行,打印出 Main finished。

在上面的代码中,使用生成器函数 coroutine 实现了一个简单的协程。生成器函数通过使用 yield 语句暂停函数的执行,然后可以通过 send 方法恢复函数的执行,并将值传递给生成器函数。通过这种方式,可以使用生成器函数实现异步并发。在上面的示例中,使用生成器函数接收并打印异步 I/O 操作的结果。

原生协程

Python 3 引入了原生协程(Native Coroutine)作为一种新的协程类型。原生协程是通过使用 async/await 关键字来定义的,与生成器协程不同,它们可以像普通函数一样使用 return 语句返回值,而不是使用 yield 语句。

下面给出一个简单的原生协程示例,其中包含一个 async 关键字修饰的协程函数 coroutine 和一个简单的异步 I/O 操作:

import asyncio

async def coroutine():
    print('Coroutine started')
    await asyncio.sleep(1)
    print('Coroutine finished')

async def main():
    print('Main started')
    await coroutine()
    print('Main finished')

asyncio.run(main())

结果输出:

[root@workhost k8s]# python3 test.py 
Main started
Coroutine started
Coroutine finished
Main finished

继续看一下执行过程:

  1. main 函数开始执行,打印出 Main started。
  2. 调用 coroutine 函数,将其作为一个协程对象运行。
  3. 在 coroutine 函数中,打印出 Coroutine started。
  4. 在 coroutine 函数中,使用 await asyncio.sleep(1) 暂停函数的执行,等待1秒钟。
  5. 在1秒钟后,恢复 coroutine 函数的执行,并打印出 Coroutine finished。
  6. main 函数恢复执行,打印出 Main finished。

在上面的代码中,使用 async 关键字定义了一个原生协程函数 coroutine,并在其中使用 await 关键字来暂停函数的执行,等待异步 I/O 操作的完成。通过这种方式,可以在原生协程中编写异步并发代码,从而提高代码的性能和效率。

两种协程对比

Python 3 中原生协程和生成器协程是两种不同的协程实现方式,它们各自有自己的特点和适用场景。下面,通过对比它们的区别和优缺点,才可以更好地理解它们之间的异同,以便选择适合自己的协程实现方式,从而更好地编写高效、可维护的异步程序。

  1. 区别:
  • 定义方式不同:原生协程使用 async/await 关键字来定义,而生成器协程使用 yield 关键字来定义。
  • 返回方式不同:原生协程使用 return 语句来返回结果,而生成器协程使用 yield 语句来返回结果。
  • 调用方式不同:原生协程使用 await 关键字来调用,而生成器协程使用 yield from 或 yield 语句来调用。
  • 内部实现不同:原生协程通过 asyncio 库来实现,而生成器协程是 Python 语言内置的特性。
  1. 优缺点:
  • 原生协程的优点:
    • 代码简洁易懂:使用 async/await 关键字,可以编写出更简洁易懂的协程代码。
    • 性能更高:原生协程不需要创建生成器对象,也不需要通过 yield 语句来控制函数的执行流程,因此能够更加高效地处理异步操作。
    • 支持异步 I/O 和任务处理:原生协程可以支持异步 I/O 操作和并发任务处理,可以在处理异步操作时更加灵活。
  • 原生协程的缺点:
    • 兼容性差:原生协程是 Python 3.5 版本之后才引入的新特性,因此在旧版本的 Python 中无法使用。
    • 异常处理不方便:原生协程在处理异常时比较麻烦,需要使用 try/except 语句来处理。
  • 生成器协程的优点:
    • 兼容性好:生成器协程是 Python 2 和 Python 3 都支持的特性。
    • 可读性好:生成器协程使用 yield 关键字来实现,代码逻辑清晰易懂。
    • 异常处理方便:生成器协程在处理异常时比较方便,可以使用 try/except 语句来处理。
  • 生成器协程的缺点:
    • 性能相对较低:生成器协程需要创建生成器对象,也需要通过 yield 语句来控制函数的执行流程,因此处理异步操作时性能相对较低。
    • 功能有限:生成器协程不能像原生协程一样支持异步 I/O 操作和任务处理。

实战案例

接下来,模拟一个场景,假设实现一个异步的批量处理任务的工具,使用原生协程来实现。

看下面代码:

import asyncio
import random

async def batch_process_task(tasks, batch_size=10):
    # 将任务列表划分为多个批次
    for i in range(0, len(tasks), batch_size):
        batch = tasks[i:i+batch_size]
        # 使用原生协程来异步处理每个批次的任务
        await asyncio.gather(*[process_task(task) for task in batch])

async def process_task(task):
    # 模拟任务处理过程
    await asyncio.sleep(random.uniform(0.5, 2.0))
    print("Task {} processed".format(task))

async def main():
    # 构造任务列表
    tasks = [i for i in range(1, 101)]
    # 并发处理批量任务
    await batch_process_task(tasks, batch_size=10)

if __name__ == '__main__':
    asyncio.run(main())

输出:

[root@workhost k8s]# python3 test.py 
Task 9 processed
Task 10 processed
Task 1 processed
Task 8 processed
Task 6 processed
Task 4 processed
Task 3 processed
Task 2 processed
Task 5 processed
...
...

batch_process_task函数使用原生协程来处理每个批次的任务,而process_task函数则是处理每个任务的函数。main函数则是构造任务列表,并且使用batch_process_task函数来异步地处理批量任务。

本文转载于WX公众号:不背锅运维(喜欢的盆友关注我们):https://mp.weixin.qq.com/s/GkhvW9qTCjw89xy0gLgPGQ

qasync:在基于Qt的应用程序中使用asyncio的Python库 质量同步 介绍 通过提供PEP 3156事件循环的实现, qasync允许协程在PyQt / PySide应用程序中使用。 qasync是一个叉 ,这是一个叉 。 愿它比其前辈更长寿。 qasync的未来 qasync创建qasync是因为不再维护asyncqt和quamash 。 qasync将继续保持不变,并且仍将接受拉取请求。 要求 qasync需要Python> = 3.6,以及PyQt5或PySide2。 安装 要安装qasync ,请使用pip : pip install qasync 执照 您可以根据的条款使用,修改和重新分发此软件。 请参阅。 立即下载

相关推荐

学术报告系列(二) - 智能自主作业机器人感知与控制技术及发展趋势

收集整理于2022年模式识别高峰论坛湖南大学王耀南院士报告(报名题目:智能自主作业机器人感知与控制技术及发展趋势)

Make something people want. 4699

Python协程的四种实现方式

Python协程的四种实现方式

weixin_45005677的博客 3389

数据中心GPU芯片性能参数速查表(Nvidia+国产算力卡)

本文提供了一份数据中心GPU芯片性能参数速查表,涵盖Nvidia与国产算力卡两大阵营。文章详细解读了算力、显存、互连技术及功耗等关键性能指标,并对比了A100、H100、昇腾910B等主流型号,旨在帮助用户根据AI训练、推理等实际场景,做出高效的硬件选型与成本评估决策。

a0b1c2d3的专栏 843

Python3的原生协程(Async/Await)和Tornado异步非阻塞

说人话:说白了就是,当协程遇到io操作而阻塞时,立即切换到别的任务,如果操作完成则进行回调返回执行结果,提高了效率,同时这样也可以充分利用 CPU 和其他资源,这就是异步协程的优势,并且协程本质上是个单进程,相对于多进程来说,无需进程间上下文切换的开销,无需原子操作锁定及同步的开销,编程模型也非常简单。从运行结果可以看出,我们的 job 是按顺序执行的。必须执行完 job 1 才能开始执行 job 2, job 1 需要 1 秒的执行时间,job 2 需要 2 秒的执行时间,所以总时间是 3 秒多。

刘悦的技术博客 3062

F280049C Crossbar X-BAR

X-BAR不是一个功能模块,只起内部外设与外设之间,或内部外设与GPIO的连接作用。配置X-BAR的就是在配置信号之间的连接。确实如这一节的开头所言,X-BAR提供了以各种配置连接设备输入、输出和内部资源的灵活性。学完这一节也知道为什么crossbar(X-BAR)的中文翻译是交叉开关。

xht2403267701的博客 3048

Java服务端实现Google Pay支付功能

全网最全代码、最清晰服务端处理Google Pay,最清晰讲解Google Pay集成逻辑。

jack2350536098的博客 1万+

python中的协程

概念: 根据维基百科给出的定义,“协程 是为非抢占式多任务产生子程序的计算机程序组件,协程允许不同入口点在不同位置暂停或开始执行程序”。从技术的角度来说,“协程就是你可以暂停执行的函数”。如果你把它理解成“就像生成器一样”,那么你就想对了。 协程,又称为微线程,看上去像是子程序,但是它和子程序又不太一样,它在执行的过程中,可以在中断当前的子程序后去执行别的子程序,再返回来执行之前的子程序,但是...

你学废了吗? 703

城市规划师必备:ArcMap里用这个免费工具,5步完成建筑群通风廊道分析

本文介绍了城市规划中利用ArcMap进行建筑群通风廊道分析的高效方法,重点讲解了迎风面投影指数(FAI)的应用。通过5个步骤,从数据准备到规划应用,帮助规划师快速评估城市通风潜力,优化建筑布局,提升城市风环境质量。

weixin_26800111的博客 413

Python学习系列之协程

一、重温进程&线程 对操作系统来说,线程是最小的执行单元,进程是最小的资源管理单元。 进程是系统分配资源的最小单位 线程是CPU调度的最小单位 由于默认进程内只有一个线程,所以多核CPU处理多进程就像是一个进程一个核心 进程是系统资源分配的最小单位, 系统由一个个进程(程序)组成 一般情况下,包括文本区域(text region)、数据区域(data region)和堆栈(stac...

answer3lin的博客 4257

YOLOv8缺陷检测可视化界面实战:PyQt5布局设计与代码实现

本文详细介绍了如何利用PyQt5为YOLOv8缺陷检测模型构建一个专业、易用的可视化界面。通过实战讲解PyQt5的布局管理器设计、信号槽机制与YOLOv8核心的集成,帮助开发者快速将AI模型部署为直观的桌面应用,提升工业质检等场景的落地效率。

redis7keeper的博客 759

化工管道设计软件:CAESAR II二次开发_(6).API接口与函数库

自定义函数库是开发者根据特定需求编写的函数集合。这些函数可以扩展CAESAR II的功能,实现更复杂的管道设计任务。自定义函数库通常需要开发者具备一定的编程基础,能够理解和编写与CAESAR II接口兼容的代码。定义函数:在Python或其他编程语言中定义所需的函数。注册函数:将自定义函数注册到CAESAR II的函数库中。调用函数:在CAESAR II中调用自定义函数,实现特定功能。假设我们需要创建一个自定义函数库,用于批量修改管道节点的坐标。定义函数:在Python中定义一个函数,用于批量修改节点坐标。

kkchenjj的博客 1735

Python与协程从Python2—Python3

协程,又称微线程、纤程,英文名Coroutine;用一句话说明什么是线程的话:协程是一种用户态的轻量级线程。 Python对于协程的支持在python2中还比较简单,但是也有可以使用的第三方库,在python3中开始全面支持,也成为python3的一个核心功能,很值得学习。 协程介绍 协程,又称微线程、纤程,英文名Coroutine;用一句话说明什么是线程的话:协程是一种用户态的轻...

weixin_42556618的博客 1459

Ceres&OpenCV 单目相机标定(论文复现)

Ceres&OpenCV 单目相机标定(论文复现)

dayuhaitang1的博客 372

python协程的作用_Python与协程从Python2—Python3

协程,又称微线程、纤程,英文名Coroutine;用一句话说明什么是线程的话:协程是一种用户态的轻量级线程。Python对于协程的支持在python2中还比较简单,但是也有可以使用的第三方库,在python3中开始全面支持,也成为python3的一个核心功能,很值得学习。协程介绍协程,又称微线程、纤程,英文名Coroutine;用一句话说明什么是线程的话:协程是一种用户态的轻量级线程。协程拥有自己...

weixin_39793319的博客 260

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

Python协程

本文主要介绍一下协程的基本概念、对比多线程的优势,以及Python2.x系列和Python3.x系列的大体差别 I、概念 协程(coroutine),又称为微线程,纤程。协程的作用:在执行A函数的时候,可以随时中断,去执行B函数,然后中断继续执行A函数(可以自动切换),单着一过程并不是函数调用(没有调用语句),过程很像多线程,然而协程只有一个线程在执行 II、优势 协程可以很完美的处理IO密集型...

Despairvip的技术博客 264

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

python2协程的应用yield,同步方式写异步代码

python协程基础知识可以先了解下之前的文章:​​​​​​一篇文章了解Python中的协程、例子、协程的发展_巴山夜雨-优快云博客_python 协程o python3用asyncio很容易实现这种写法 python2的协程更加简单,要实现同步方式写异步代码,只要做些封装也可以实现 协程1Python 2 的yeild和send 生成器yeild和send,实现协程的老方法,只能实现协程基本功能,保存状态、实现函数的能暂停、恢复等。 # coding: utf-8...

巴山夜雨 824

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Python [2 | 3] 协程使用

https://thief.one/2017/02/20/Python%E5%8D%8F%E7%A8%8B/上篇论述了关于python多线程是否是鸡肋的问题,得到了一些网友的认可,当然也有一些不同意见,表示协程比多线程不知强多少,在协程面前多线程算是鸡肋。好吧,对此我也表示赞同,然而上篇我论述的观点不在于多线程与协程的比较,而是在于IO密集型程序中,多线程尚有用武之地。  对于协程,我表示其效率确...

3569 1139

python协程与异步协程

 在前面几个博客中我们一一对应解决了消费者消费的速度跟不上生产者,浪费我们大量的时间去等待的问题,在这里,针对业务逻辑比较耗时间的问题,我们还有除了多进程之外更优的解决方式,那就是协程和异步协程。在引入这个概念之前我们先看   看这个图:   从这个图片我们可以看出来,假如来了9个任务,即使我们开了多进程,在业务的执行过程中我们依旧是同步操作,所以执行完这一波任务我们一共需要9s,虽然比单进...

qq_38839677的博客 901

[原创] 在已有 python2 代码快速实现协程. gevent grequests 协程效率对比

重新研究了一下 python 协程, 用 在 python2 中用 gevent/grequests 实现, 做了一些对比. 目的是想在 python2 的现有代码的基础上, 在改动量最小的前提下实现协程. grequests 也是用 gevent 实现的, 对 requests 进行了一些补丁修改. #! -*- coding:utf8 import gevent import threa...

张志鹏的博客 868

Python多任务之协程

Python多任务之协程 多任务:进程,线程,协程 协程不是被操作系统内核所管理,而完全是由程序所控制**(也就是在用户态执行)**。 添加链接描述 1和2交替打印。 ...

weixin_43670105的博客 130

【python】1000次请求最少几秒完成?来探讨下(高性能多进程+协程)

前言 linux环境:Oracle VM VirtualBox【CentOS7(64-bit)】 python版本:python2.7 需要先了解的知识点: gevent https://blog.youkuaiyun.com/qq_35061334/article/details/95766918 1.使用协程gevent 安排:我们先用1000个协程gevent来实现下看看 # -*- coding:...

qq_35061334的博客 1077
上一篇: 避坑:Go并发编程时,如何避免发生竞态条件和数据竞争
下一篇: 关于K8S Operator的那点“破”事
不背锅运维
博客等级 码龄4年 38粉丝 1原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值