windows flask 多进程高并发

最近在做的一个项目，需要将十几个python函数封装程flask服务供外界调用，每个函数之间没有什么关系，相互独立。虽然感觉不是很难，但因为用的windows系统，遇到的坑比较多，在此一一总结一下。

flask偶尔出现卡死问题

见上一篇文章

不能高并发问题

因为十几个函数都要被调用，而且调用量不小，对响应时效性有较高要求，需要能充分利用CPU并行计算，采用了如下几个解决方法

1.flask + gevent + multiprocess + wsgi

在网上搜到这个解决方案
但不知道是系统原因还是我的算法原因，运行之后发现CPU占用量比较低，而且同时收到服务请求后是串行计算并返回的。看来这种方法在我这种情况下并不适用。

2.设置多线程

还有一个解决方法是代码运行时设置多线程，即输入命令
python 文件名.py runserver --threaded
但发现依然没有并行计算

3.设置多进程

这个解决方案是在代码的app.run()函数中设置process=n，n就是你想要的进程数。但设置之后报错，说是不能同时设置多线程和多进程。然后又在app.run()中设置threaded=False，发现又报错，可能是这个功能只支持linux系统而不支持windows

还看到nginx和gunicorn的方法，但是不知道这个对windows是否支持，而且好像有点麻烦就没有试

4.手动负载均衡

通过测试发现一个现象，就是flask并非完全串行，当同时接收到2个请求，如果执行第一个请求会占用计算资源，那么就是算完第一个再算第二个，而如果第一个请求的计算是等待（比如time.sleep）或者挂起状态，则会同时去处理第二个请求而不用等到第一个请求返回结果。
因此想到了一个解决方法，就是每个函数都单独启一个flask服务，对于耗时比较长的函数根据需求多启几个服务，每个服务设置的端口号不同，然后再启动一个对外的flask服务，外界所有请求都发送到这一个flask端口，然后这个端口内部再向对应的flask服务发送请求。
原始flask代码：

from flask import Flask, render_template
from gevent.pywsgi import WSGIServer
from gevent import monkey
import time
import json

monkey.patch_all()
app = Flask(__name__)

@app.route('/')
def connect():
	return "connected test"

@app.route('/index')
def index_test():
	time0 = time.time()
	for i in range(10000):
		j = list(range(1000))
	print(time.time() - time0)
	res = {'data':1}
	res = json.dumps(res)
	return res

if __name__ == "__main__":
	server  = WSGIServer(("0.0.0.0", 5000), app)
	print("Server started")
	server.serve_forever()

测试调用代码：

import requests
from threading import Thread
import time
def req():
    time0 = time.time()
    res = requests.get('http://127.0.0.1:5000/index')
    print(time.time() - time0)
    # print(res.text)
for i in range(5):
    th = Thread(target=req)
    th.start()

结果：
fask端显示的结果为

0.5939996242523193
127.0.0.1 - - [2023-10-12 09:49:03] "GET /index HTTP/1.1" 200 127 0.600002
0.48799610137939453
127.0.0.1 - - [2023-10-12 09:49:04] "GET /index HTTP/1.1" 200 127 0.488996
0.5429947376251221
127.0.0.1 - - [2023-10-12 09:49:04] "GET /index HTTP/1.1" 200 127 0.544997
0.4839961528778076
127.0.0.1 - - [2023-10-12 09:49:05] "GET /index HTTP/1.1" 200 127 0.485996
0.4319908618927002
127.0.0.1 - - [2023-10-12 09:49:05] "GET /index HTTP/1.1" 200 127 0.434000

请求发送端显示的结果是

1.0300004482269287
1.3990015983581543
1.8730018138885498
2.3450255393981934
2.831998586654663

收到返回的时间却在逐渐增加，说明没有并行计算

改进代码：
入口flask代码：

from flask import Flask, render_template
from gevent.pywsgi import WSGIServer
from gevent import monkey
import requests
import time
import json

monkey.patch_all()
app = Flask(__name__)
path_num = {'num':-1}
@app.route('/')
def connect():
	return "connected test"

@app.route('/index')
def index_test():
	# time0 = time.time()
	# for i in range(10000):
	# 	j = list(range(1000))
	# print(time.time() - time0)
	# res = {'data':1}
	# res = json.dumps(res)
	if path_num['num'] > 4:
		path_num['num'] = 0
	else:
		path_num['num'] += 1
	num = path_num['num']
	url = f'http://127.0.0.1:{9030+num}/index'
	res = requests.post(url=url)
	return res.text

if __name__ == "__main__":
	server  = WSGIServer(("0.0.0.0", 5000), app)
	server.serve_forever()
	# app.run()

算法flask代码

from flask import Flask, render_template
from gevent.pywsgi import WSGIServer
from gevent import monkey
import time
import json

monkey.patch_all()
app = Flask(__name__)

@app.route('/')
def connect():
	return "connected test"

@app.route('/index')
def index_test():
	time0 = time.time()
	for i in range(10000):
		j = list(range(1000))
	print(time.time() - time0)
	res = {'data':1}
	res = json.dumps(res)
	return res

if __name__ == "__main__":
	server  = WSGIServer(("0.0.0.0", 9030), app)
	print("Server started")
	server.serve_forever()
	# app.run()

这里的算法flask代码启动了5个，接口分别是9030~9034
用同样的方式测试，返回的结果为

0.0500025749206543
0.05100274085998535
0.050002098083496094
0.05200028419494629
0.062003135681152344

差不多同时返回

总结

虽然最后一种方式有点麻烦，但可以解决现有问题，其中算法flask服务启动的越多性能越好。