多任务-协程

最新推荐文章于 2024-01-02 09:27:30 发布

原创最新推荐文章于 2024-01-02 09:27:30 发布 · 215 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

22 篇文章

订阅专栏

一、协程的概念

协程，又称微线程，纤程。英文名Coroutine。
协程是python中另外一种实现多任务的方式，只不过比线程占用更小的执行单元（理解为需要的资源）。
通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定。
在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。

二、协程的实现方式

2.1 通过yield实现

# -*- coding:utf-8 -*-
import time

def work1():
    while True:
        print('--work1--')
        yield
        time.sleep(0.5)

def work2():
    while True:
        print('-work2')
        yield
        time.sleep(0.5)

def main():
    w1 = work1()
    w2 = work2()
    while True:
        next(w1)
        next(w2)

if __name__ == '__main__':
    main()

结果：
--work1--
-work2
--work1--
-work2
--work1--
-work2
--work1--
-work2
--work1--
-work2
--work1--
-work2
......

可以看到，任务1和任务2是交替执行的，实现了多任务。

2.2 通过greenlet实现

为了更好使用协程来完成多任务，python中的greenlet模块对其封装，从而使得切换任务变的更加简单。

使用如下命令安装greenlet模块:
sudo pip3 install greenlet

# -*- coding:utf-8 -*-

import time, random, greenlet

def test1(num):
    while True:
        print('A')
        print(num)
        gr2.switch(2)
        time.sleep(random.random())

def test2(num):
    while True:
        print('B')
        print(num)
        gr1.switch(1)
        time.sleep(random.random())

gr1 = greenlet.greenlet(test1)
gr2 = greenlet.greenlet(test2)

gr1.switch(1)

结果：
A
1
B
2
A
1
B
2
A
1
......

可以看到，同样实现了多任务，只不过是需要手动去切换任务。

2.3 通过gevent实现

greenlet已经实现了协程，但是还需要人工切换，python还有一个比greenlet更强大的并且能够自动切换任务的模块gevent。

其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO。

# -*- coding:utf-8 -*-
import gevent

def f(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        # 用来模拟一个耗时操作，注意不是time模块中的sleep
        gevent.sleep(1)

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)

#把循环次数改为500000，让它们的运行时间长一点，然后在操作系统的进程管理器中看，线程数只有1个。
# g1 = gevent.spawn(f, 500000)
# g2 = gevent.spawn(f, 500000)
# g3 = gevent.spawn(f, 500000)

g1.join()
g2.join()
g3.join()

结果：
<Greenlet "Greenlet-0" at 0x10b8f0a48: f(5)> 0
<Greenlet "Greenlet-1" at 0x10b8f0d48: f(5)> 0
<Greenlet "Greenlet-2" at 0x10b8f0e48: f(5)> 0
<Greenlet "Greenlet-0" at 0x10b8f0a48: f(5)> 1
<Greenlet "Greenlet-1" at 0x10b8f0d48: f(5)> 1
<Greenlet "Greenlet-2" at 0x10b8f0e48: f(5)> 1
<Greenlet "Greenlet-0" at 0x10b8f0a48: f(5)> 2
<Greenlet "Greenlet-2" at 0x10b8f0e48: f(5)> 2
<Greenlet "Greenlet-1" at 0x10b8f0d48: f(5)> 2
<Greenlet "Greenlet-0" at 0x10b8f0a48: f(5)> 3
<Greenlet "Greenlet-1" at 0x10b8f0d48: f(5)> 3
<Greenlet "Greenlet-2" at 0x10b8f0e48: f(5)> 3
<Greenlet "Greenlet-0" at 0x10b8f0a48: f(5)> 4
<Greenlet "Greenlet-2" at 0x10b8f0e48: f(5)> 4
<Greenlet "Greenlet-1" at 0x10b8f0d48: f(5)> 4

# -*- coding:utf-8 -*-

from gevent import monkey; #monkey.patch_all() 这个方法需要放在最前面，不然会有警告
import gevent, random, time


#打补丁：有耗时操作时需要,自动检测耗时的操作，自动将time.sleep(random.random())转换为gevent.sleep(random.random())
# monkey.patch_all() # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块


def coroutine_work(coroutine_name):
    for i in range(10):
        print(coroutine_name, i)
        time.sleep(random.random())


gevent.joinall([
    gevent.spawn(coroutine_work, 'work1'),
    gevent.spawn(coroutine_work, 'work2')

])

结果：
work1 0
work1 1
work1 2
work1 3
work1 4
work1 5
work1 6
work1 7
work1 8
work1 9
work2 0
work2 1
work2 2
work2 3
work2 4
work2 5
work2 6
work2 7
work2 8
work2 9