Python Flask使用gevent或grpc.gevent模块实现异步非阻塞

目录

0. 前言：

1. gevent.monkey介绍：

2. grpc.gevent介绍：

3. Flask Demo代码

4. 压测结果

5. 压测报告

6. 结论

---

0. 前言：

        Flask本身并不是一个异步框架，因此在处理高并发请求时会出现性能瓶颈。然而，Flask可以通过与其他异步框架和库的集成来提高并发性能。

        所以下面会介绍gevent、gprc两种协程库，如何结合使用到Flask项目中，提高项目本身的并发性能。

        文中我会写份简单的接口代码，通过ab（Apache bench）工具进行请求压测，观察两个模块对Flask项目性能提升的情况。

1. gevent.monkey介绍：

        gevent是一个基于协程的Python网络编程库，它可以使编写异步代码变得更加简单和高效。在gevent中，通过greenlet和libev实现了高效的协程和事件循环机制。

        monkey模块是gevent库中的一个重要模块，它可以动态地将标准库中的阻塞式I/O操作替换为gevent的非阻塞式I/O操作，从而使得原本同步阻塞的程序变为异步非阻塞的程序。通过使用monkey模块，我们可以在不修改原有代码的情况下，轻松地将程序变为基于协程的异步程序，提高程序的并发性能。

        具体来说，monkey模块可以通过以下几个函数来实现对标准库中阻塞式I/O操作的替换：

• patch_all(): 用于自动将标准库中所有可以替换的阻塞式I/O操作替换为gevent的非阻塞式I/O操作。
• patch_socket(): 用于将socket模块中的阻塞式I/O操作替换为gevent的非阻塞式I/O操作。
• patch_select(): 用于将select模块中的阻塞式I/O操作替换为gevent的非阻塞式I/O操作。
• patch_time(): 用于将time模块中的阻塞式sleep操作替换为gevent的非阻塞式sleep操作。

        需要注意，在使用monkey模块时，可能会出现一些副作用，例如会修改标准库的全局变量和函数，导致其他模块的行为不可预期。因此，在使用monkey模块时，应该仔细地阅读文档，并进行必要的测试和验证。

2. grpc.gevent介绍：

        grpc.experimental.gevent是一个用于将gRPC的异步调用与gevent协程库结合使用的Python模块。它提供了一个基于gevent协程的gRPC异步调用实现，并且可以轻松地与其他基于gevent的网络编程库一起使用。

        在使用grpc.experimental.gevent模块时，可以通过以下几个步骤来实现gevent和gRPC的结合使用：

1. 创建一个gevent协程池，用于管理所有的gRPC异步调用。
2. 使用grpc.experimental.gevent拦截器将所有的gRPC客户端调用转换为gevent协程。
3. 在gevent协程池中运行所有的gRPC异步调用。
4. 在协程中处理所有的gRPC响应。

        使用grpc.experimental.gevent模块可以有效地提高gRPC应用的并发处理能力，并且可以使gRPC应用与其他基于gevent的网络编程库更加兼容。需要注意的是，在使用grpc.experimental.gevent模块时，应该仔细阅读文档，并进行必要的测试和验证，以确保程序的正确性和稳定性。

3. Flask Demo代码

        通过time.sleep(2)休眠2秒来模拟阻塞的情况，然后我们开始分别测试下并发

import time
from flask import Flask

# 使用gevent的方法
# from gevent import monkey
# monkey.patch_all()

# 使用grpc的方法
# import grpc.experimental.gevent as grpc_gevent
# grpc_gevent.init_gevent()

 
app = Flask(__name__)
 
@app.route('/')   #匹配路由
def hello():
    # 模拟阻塞
    time.sleep(2)
    return "Hello World"
 
if __name__ == '__main__':
    app.run(port=7779, threaded=True)

4. 压测结果

        命令 ab -c 100 -n 5000 http://127.0.0.1:7779/ 压测

	Flask+gevent	Flask+grpc_gevent
每秒请求数	49.77	49.83
测试所耗时间	100.455	100.334

5. 压测报告

# Flask + grpc_gevent

Server Software:        Werkzeug/2.2.3
Server Hostname:        127.0.0.1
Server Port:            7779

Document Path:          /
Document Length:        11 bytes

Concurrency Level:      100
Time taken for tests:   100.334 seconds
Complete requests:      5000
Failed requests:        0
Total transferred:      920000 bytes
HTML transferred:       55000 bytes
Requests per second:    49.83 [#/sec] (mean)
Time per request:       2006.675 [ms] (mean)
Time per request:       20.067 [ms] (mean, across all concurrent requests)
Transfer rate:          8.95 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.3      0       3
Processing:  2001 2005   9.3   2004    2101
Waiting:     2001 2005   9.2   2003    2101
Total:       2001 2005   9.5   2004    2102

Percentage of the requests served within a certain time (ms)
  50%   2004
  66%   2004
  75%   2005
  80%   2005
  90%   2006
  95%   2009
  98%   2028
  99%   2067
 100%   2102 (longest request)


# Flask + gevent

Server Software:        Werkzeug/2.2.3
Server Hostname:        127.0.0.1
Server Port:            7779

Document Path:          /
Document Length:        11 bytes

Concurrency Level:      100
Time taken for tests:   100.455 seconds
Complete requests:      5000
Failed requests:        0
Total transferred:      920000 bytes
HTML transferred:       55000 bytes
Requests per second:    49.77 [#/sec] (mean)
Time per request:       2009.092 [ms] (mean)
Time per request:       20.091 [ms] (mean, across all concurrent requests)
Transfer rate:          8.94 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.3      0       3
Processing:  2001 2006  11.2   2002    2050
Waiting:     2001 2006  11.2   2002    2050
Total:       2001 2006  11.2   2002    2051

Percentage of the requests served within a certain time (ms)
  50%   2002
  66%   2003
  75%   2003
  80%   2003
  90%   2024
  95%   2038
  98%   2046
  99%   2048
 100%   2051 (longest request)

6. 结论

        通过压测发现grpc_gevent对flask性能提升好像更好，可能因为我的代码里面只是用了sleep模拟阻塞，但是在真实项目中的I/O操作较为复杂，例如需要进行数据库查询、文件读写等操作，使用gevent可能会更加适合，因为它可以将这些I/O操作转换为非阻塞式，从而提高服务器的并发性能。

        如果你的Flask项目使用了pymilvus，同时你用gevent实现异步非阻塞的话，会出现项目启动时卡住的情况，卡在milvus connection方法这里，这时你可以换成grpc_gevent，可以解决这个问题。