gevent实现python并发api接口

公司之前算法对外提供服务都是通过flask框架生成的api接口的形式，而最近项目中需要提高算法api接口的并发性能，通过分析flask对外api接口发现，该api接口是串行的方式，也即阻塞的形式进行数据处理的（前一条数据处理完成，才会进入下一条数据的处理）。因此，将flask提供api接口改为gevent，改用gevent后，算法接口在并发性能上提升效果明显，下面简要记录一下，做个笔记。

测试工具JMeter

本文采用jmeter测试工具对算法接口性能进行测试。JMeter是Apache组织开发的基于Java的压力测试工具。用于对软件做压力测试，它最初被设计用于Web应用测试，但后来扩展到其他测试领域。

JMeter的安装：https://blog.youkuaiyun.com/Jenny_He/article/details/88926605

利用JMeter测试基于flask接口和基于gevent接口的性能时，其线程组的设置如下图所示，设置100个线程（模拟100次接口调用）， 准备时长（Ramp-Up）设置为1秒。

线程组各参数的含义可参考：https://blog.youkuaiyun.com/u012111923/article/details/80705141

算法接口参数设置如下图所示 

基于flask的api接口

测试代码如下

# -*- coding: utf-8 -*-
# @Time        : 2019/4/2 10:16
# @Author      : tianyunzqs
# @Description :

import os
import sys
import logging as logger
import traceback

from flask import Flask, request, json
from flask_cors import CORS

package_path = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(package_path)
from dev_v6.xj_common import text_extract_api

app = Flask(__name__)
CORS(app)


@app.route('/xj_hsyp_common', methods=['GET', 'POST'])
def api_xj_common():
    try:
        data = request.form['data']
        if data:
            logger.info("输入：")
            logger.info(str(data))
            result = {"success": "true", "result": text_extract_api(text=data)}
        else:
            result = {"success": "false", "result": "输入错误。"}
        logger.info("输出： ")
        logger.info(str(result))
        return json.dumps(result, ensure_ascii=False)
    except:
        logger.error(traceback.format_exc())
        return json.dumps({"success": "false", "result": "程序异常"}, ensure_ascii=False)


if __name__ == '__main__':
    app.run(host='0.0.0.0', port=3009, threaded=True)

 jmeter测试产生的结果分析如下图所示

从上图可看出，基于flask的算法接口的吞吐量为1.3/sec，而且接口的处理方式阻塞型的 。

基于gevent的api接口

安装gevent

gevent是python的第三方库，提供了比较完善的对协程的支持。它用到Greenlet提供的，封装了libevent事件循环的高层同步API。它让开发者在不改变编程习惯的同时，用同步的方式写异步I/O的代码。

gevent的相关介绍：https://www.jianshu.com/p/861f29ac68e8

Windows安装

在线安装

pip install gevent

离线安装

从https://www.lfd.uci.edu/~gohlke/pythonlibs/下载以下whl文件，先安装gevent的几个依赖包（cffi、greenlet、pycparser），最后安装gevent，安装命令：

pip install *.whl

​

​Linux安装

在线安装

pip install gevent

离线安装

下载依赖包greenlet：

https://files.pythonhosted.org/packages/2e/65/27f35497cc0102a792390d056e793e064da95fc9eae45d75ae0ba49c0a0d/greenlet-0.4.15-cp35-cp35m-manylinux1_x86_64.whl

下载完成后运行：

pip install greenlet-0.4.15-cp35-cp35m-manylinux1_x86_64.whl

下载gevent：

https://files.pythonhosted.org/packages/95/d2/f2f454b00fde1608f6f4889c8cc3e12b5000f26cd5c3e11b5427c7781de9/gevent-1.4.0-cp35-cp35m-manylinux1_x86_64.whl

下载完成后运行：

pip install gevent-1.4.0-cp35-cp35m-manylinux1_x86_64.whl

 性能测试

测试代码：

# -*- coding: utf-8 -*-
# @Time        : 2019/4/2 10:16
# @Author      : tianyunzqs
# @Description :

import os
import sys
import logging as logger
import traceback
import configparser

from gevent import monkey
from gevent.pywsgi import WSGIServer
monkey.patch_all()
from flask import Flask, request, json
from flask_cors import CORS

package_path = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
sys.path.append(package_path)
from dev_v6.xj_common import text_extract_api

app = Flask(__name__)
CORS(app)


@app.route('/xj_hsyp_common', methods=['GET', 'POST'])
def api_xj_common():
    try:
        data = request.form['data']
        if data:
            logger.info("输入：")
            logger.info(str(data))
            result = {"success": "true", "result": text_extract_api(text=data)}
        else:
            result = {"success": "false", "result": "输入错误。"}
        logger.info("输出： ")
        logger.info(str(result))
        return json.dumps(result, ensure_ascii=False)
    except:
        logger.error(traceback.format_exc())
        return json.dumps({"success": "false", "result": "程序异常"}, ensure_ascii=False)


if __name__ == '__main__':
    http_server = WSGIServer(('', 3009)), app)
    http_server.serve_forever()

 jmeter测试产生的结果分析如下图所示 

 

从上图可看出，接口的吞吐量提升到了2.9/sec，而且接口的处理方式非阻塞型的。

对比测试结果发现，使用gevent后接口的性能明显提升；而且接口由原来的串行方式变为并行方式，真正提高了接口的并发处理能力。