python协程

文章介绍了Python中的协程,作为实现多任务的一种方式,协程相比线程占用更少的资源。协程可以在函数内部保存状态并在合适时机切换,避免了线程切换的高性能损耗。文中提供了三种实现协程的方法:直接使用yield,引入greenlet库以及利用gevent库。特别是gevent,它能自动在耗时操作时切换任务,从而实现高效的并发执行。

简介

协程,又称微线程,是Python中另外一种实现多任务的方式,只不过比线程占用更小执行单元(理解为需要的资源)

通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定

协程与线程差异

在实现多任务时,线程切换从系统层面远不止保存和恢复CPU上下文这么简单。操作系统为了程序运行的高效性,每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。所以线程的切换非常耗性能。但是协程的切换只是丹村的操作CPU的上下文,所以一秒钟切换个百万次系统都可以。

计算密集任务:使用多线程
IO密集型任务:使用多线程、协程

一个程序,为了完成多任务,可以由多进程来实现。加入硕进程数是10,那么此时有10个一起运行
一个进程这种可以开线程,如果每个进程有10个线程,那么一共是10x10===》100个任务一起运行
一个线程中可以开协程,假如每个线程中有10个协程,那么一共是10x10x10===>1000个任务一起运行

方法

方法一

import time

def work1():
    while True:
        print("work1")
        yield
        # time.sleep(0.5)

def work2():
    while True:
        print("work2")
        yield
        # time.sleep(0.5)
        
def main():
    w1 = work1()
    w2 = work2()
    while True:
        next(w1)
        next(w2)

if __name__ == "__main__":
    main()
    
    # 通过协程能够实现多任务,但是它的这种方案一定是假的多任务,又因为只要运行时切换任务 足够快,用户看不出区别, 所以 表上面是多任务

方法二

import time
from greenlet import greenlet

def work1():
    while True:
        print("work1")
        gr2.switch()
        time.sleep(0.5)

def work2():
    while True:
        print("work2")
        gr1.switch()
        # time.sleep(0.5)
        
gr1 = greenlet(work1)
gr2 = greenlet(work2)

# 切换到gr1中运行
gr1.switch()

# 协程与进程、线程的不同
# 1. 进程、线程 创建完之后,到底是哪个进程、线程执行 不确定,这要让操作系统来进行计算(调度算法,例如优先级调度)
# 2. 协程是可以人为来控制的

方法三

import gevent

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        gevent.sleep(1) # 注意这里不能使用time

g1 = gevent.spawn(f,5)
g2 = gevent.spawn(f,5)
g3 = gevent.spawn(f,5)
g1.join()
g2.join()
g3.join()

# 使用gevent来实现多任务的时候,有一个特殊的地方
# 它可以自行切换协程指定的任务,而且切换的前提是:当一个任务用到耗时任务操作(例如延时),它就会把这个时间拿出来去做另外的任务
# 这样做最终实现了多任务 而且自动切换

如果想要使用time.sleep,需要进行monkey.patch_all()设置

import gevent
import time
from gevent import monkey

monkey.patch_all() # 这句话一定要放到 使用time等耗时操作的前面,它最后的效果是 将time模块中的延时全部替换为 gevent中的延时
# time模块中的延时是不具备 自动切换任务的功能,二gevent中的延时 具备, 因此我们需要将time全部改为gevent
# 为了更快速的让本py中的所有time变为gevent所以我们需要执行 monkey.patch_all()

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        time.sleep(1)
        # gevent.sleep(1)

g1 = gevent.spawn(f,5)
g2 = gevent.spawn(f,5)
g3 = gevent.spawn(f,5)
g1.join()
g2.join()
g3.join()

另外,还有一种写法

import gevent
import time
from gevent import monkey

monkey.patch_all() # 将time.slepp转变为gevent.sleep效果

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        time.sleep(1)
        # gevent.sleep(1)

def f1(n):
    for i in range(n):
        print(gevent.getcurrent(), (i+1)*10)
        time.sleep(1)

gevent.joinall([
    gevent.spawn(f, 5),
    gevent.spawn(f1, 5),
])

# 使用gevent来实现多任务的时候,有一个特殊的地方
# 它可以自行切换协程指定的任务,而且切换的前提是:当一个任务用到耗时任务操作(例如延时),它就会把这个时间拿出来去做另外的任务
# 这样做最终实现了多任务 而且自动切换
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Fighting_1997

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值