gunicorn + flask 异步方案采坑记录

最新推荐文章于 2025-06-01 17:27:16 发布
最新推荐文章于 2025-06-01 17:27:16 发布
阅读量1w 收藏 10
点赞数 3
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xie_0723/article/details/88054500
本文探讨了在Gunicorn环境下，Python Flask应用中异步任务的执行问题。详细分析了在不同环境中，如本地开发与服务器部署时，异步任务的表现差异。特别指出，将ThreadPool初始化位置从主进程移到请求处理的worker进程中，可以有效解决异步任务执行失败的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

因为现在大家都在做测试平台,论坛好多后端使用django，flask的测试平台，大部分情况下Python项目服务是使用gunicorn[或者uwsgi]启动，自动化用例的执行难免会用到异步方案，可能大部分用Celery，但Celery太重，偶尔的异步任务，可以使用multiprocessing 或者是concurrent 或者是协程就可以解决,但异步一不小心就会碰到各种坑,今天大家分享一个采坑。
  1. 需求背景

前端用户输入相关参数后，异步为用户创建一个流水线.

  1. 问题描述

本机运行ok，但是在服务器上，不执行异步任务.

  1. 开发环境+技术栈

开发环境: Mac + Pycharm
服务器：CentOS(以下测试都是在阿里云的CentOS7下验证)
技术栈：Python3.6.6 + Flask + Gunicorn + .....

  1. 定位问题

因为在本地开发，所以直接flask run 启动服务，出现问题后，首先定位到服务器上是使用gunicorn启的服务,本地换成gunicorn启动后测试，果然异步任务也是不执行。在异步方法前后打日志，一步一步的定位，就是卡死在异步任务那儿，既没有报错日志，也没有任何的异常抛出，好像启动的异步线程假死。唯一想到是gunicorn的原因，因为区别就是在这了，各种google，也没找到答案。没办法，看了下gunicorn的源码和gunicorn源码的解析，找到了重要的线索。

先看下项目

目录结构
[root@devops application]# tree
.
├── flask_demo.py
├── gunicorn.conf.py
启动命令
# 服务器上是通过脚本内配置以下命令启动的，本地直接使用以下命令启动
gunicorn --preload -c gunicon.conf.py flask_demo:app
具体代码
# gunicorn.conf.py

bind = ":8000"
workers = 2
# threads = 2
max_requests = 50000
max_requests_jitter = 2
timeout = 70
graceful_timeout = 30
limit_request_line = 8190
limit_request_fields = 200
limit_request_fields_size = 8190

pidfile = "gunicorn.pid"
# user = "admin"
pythonpath = "/Users/admin/CODE/cmdb/"
accesslog = "gunicorn_access.log"
errorlog = "gunicorn_error.log"
loglevel = 'debug'
access_log_format = '%(h)s %(t)s %(l)s %(u)s "%(r)s" %(s)s %(b)s "%(f)s" "%(a)s"'
daemon = False
# daemon = True
raw_env = "CONFIG_ENV=uat"
# raw_env = "FLASK_CONFIG=dev"
capture_output = True
work_class = "sync"


# flask_demo.py

import logging
from multiprocessing.pool import ThreadPool

from flask import Flask

logging.basicConfig(level=logging.INFO,
                    format="[%(asctime)s] 进程ID：%(process)d 线程ID：%(thread)d %(name)s %(levelname)s [%(module)s:%(lineno)s:%(funcName)s] %(message)s")
logger = logging.getLogger(__name__)

pool = ThreadPool(processes=1)  # 模式①

logger.info('in main thread')

# 需要异步执行的任务
def bar():
    '''
    这个异步任务可能是长耗时或对于时效性要求没那么高的业务场景.
    '''
    logger.info('async task run success')
    return 'task done'


app = Flask(__name__)


@app.route('/')
def hello():
    # pool = ThreadPool(processes=1)  # 模式②
    logger.info('start apply async')
    pool.apply_async(bar)
    logger.info('apply async done')
    
    return 'Hello, World!'
模式①执行失败(在master进程中启线程)
《执行日志》- 注意最后两行日志
[2019-02-27 17:53:20,468] 进程ID：11323 线程ID：139846288471872 flask_demo INFO [flask_demo:13:<module>] in main thread
[2019-02-27 17:53:20 +0800] [11323] [INFO] Starting gunicorn 19.9.0
[2019-02-27 17:53:20 +0800] [11323] [DEBUG] Arbiter booted
[2019-02-27 17:53:20 +0800] [11323] [INFO] Listening at: http://0.0.0.0:8000 (11323)
[2019-02-27 17:53:20 +0800] [11323] [INFO] Using worker: sync
[2019-02-27 17:53:20 +0800] [11366] [INFO] Booting worker with pid: 11366
[2019-02-27 17:53:20 +0800] [11367] [INFO] Booting worker with pid: 11367
[2019-02-27 17:53:20 +0800] [11323] [DEBUG] 2 workers
[2019-02-27 17:53:40 +0800] [11367] [DEBUG] GET /
[2019-02-27 17:53:40,339] 进程ID：11367 线程ID：139846288471872 flask_demo INFO [flask_demo:26:hello] start apply async
[2019-02-27 17:53:40,340] 进程ID：11367 线程ID：139846288471872 flask_demo INFO [flask_demo:28:hello] apply async done



《请求前进程树-ps:不带{}代表进程，带{}代表线程》,可以看到确实是有启动线程
[root@devops application]# pstree -p 11323
gunicorn(11323)─┬─gunicorn(11366)
                ├─gunicorn(11367)
                ├─{gunicorn}(11362)
                ├─{gunicorn}(11363)
                ├─{gunicorn}(11364)
                └─{gunicorn}(11365)
 
 
《请求的结果也正常》             
[root@devops application]# http get http://47.101.49.169:8000/
HTTP/1.1 200 OK
Connection: close
Content-Length: 13
Content-Type: text/html; charset=utf-8
Date: Wed, 27 Feb 2019 09:53:40 GMT
Server: gunicorn/19.9.0

Hello, World!


《请求后的进程树》
[root@devops application]# pstree -p 11323
gunicorn(11323)─┬─gunicorn(11366)
                ├─gunicorn(11367)
                ├─{gunicorn}(11362)
                ├─{gunicorn}(11363)
                ├─{gunicorn}(11364)
                └─{gunicorn}(11365)
模式②执行成功(在worker进程中启线程)
《执行日志》
[2019-02-27 18:04:31,513] 进程ID：11671 线程ID：139621494204224 flask_demo INFO [flask_demo:13:<module>] in main thread
[2019-02-27 18:04:31 +0800] [11671] [INFO] Starting gunicorn 19.9.0
[2019-02-27 18:04:31 +0800] [11671] [DEBUG] Arbiter booted
[2019-02-27 18:04:31 +0800] [11671] [INFO] Listening at: http://0.0.0.0:8000 (11671)
[2019-02-27 18:04:31 +0800] [11671] [INFO] Using worker: sync
[2019-02-27 18:04:31 +0800] [11710] [INFO] Booting worker with pid: 11710
[2019-02-27 18:04:31 +0800] [11711] [INFO] Booting worker with pid: 11711
[2019-02-27 18:04:31 +0800] [11671] [DEBUG] 2 workers
[2019-02-27 18:04:56 +0800] [11711] [DEBUG] GET /
[2019-02-27 18:04:56,860] 进程ID：11711 线程ID：139621494204224 flask_demo INFO [flask_demo:26:hello] start apply async
[2019-02-27 18:04:56,860] 进程ID：11711 线程ID：139621494204224 flask_demo INFO [flask_demo:28:hello] apply async done
[2019-02-27 18:04:56,861] 进程ID：11711 线程ID：139621255997184 flask_demo INFO [flask_demo:17:bar] async task run success


《请求前的进程树》
[root@devops application]# pstree -p 11671
gunicorn(11671)─┬─gunicorn(11710)
                └─gunicorn(11711)
                
《请求结果》
[root@devops application]# http get http://47.101.49.169:8000/
HTTP/1.1 200 OK
Connection: close
Content-Length: 13
Content-Type: text/html; charset=utf-8
Date: Wed, 27 Feb 2019 10:04:56 GMT
Server: gunicorn/19.9.0

Hello, World!

《请求后的进程树》
[root@devops application]# pstree -p 11671
gunicorn(11671)─┬─gunicorn(11710)
                └─gunicorn(11711)─┬─{gunicorn}(11795)
                                  ├─{gunicorn}(11796)
                                  ├─{gunicorn}(11797)
                                  └─{gunicorn}(11798)

重要：

看到区别了吗，在模式2的情况下，启动的新线程是放到了worker进程(主进程：gunicorn(11671)→子进程：gunicorn(11711))下，执行成功。

模式1启动的新线程是放到了master进程(主进程：gunicorn(11323))下,其实就是子进程内线程没办法和主进程下的线程进行通信，执行失败。

而master进程是不负责具体业务代码执行。因为gunicorn就是这么设计的，gunicorn的实现是由一个master进程管理多个worker进程，【所有的请求都是由worker进程处理】，master进程主要向各worker进程发送信号，监控worker进程的运行状态，当worker进程退出后(异常情况下)，自动重新启动新的worker进程. 简单来说就是worker才负责具体代码执行。

总结

解决这个bug现在看很简单，就是把pool = ThreadPool(processes=1)放到request内。但当时解决起来花费很久的时间，不像我们平时的debug，看错误堆栈就可以了, 因为没有任何的异常信息抛出。

‘这个bug解决的方案还有很多中，大家有时间的话可以去尝试下。’

另外说下自身情况，之前在测试行业，一直关注TesterHome，已经转到后端研发，在做DevOps相关的实践，有兴趣可以一起交流, 谢谢大家！

PS:后续可能还会转回到测试,O(∩_∩)O哈哈~

gunicorn启动步骤：
（1）加载worker_class并实例化（默认为同步模型 SyncWorker）
（2）父进程（master进程）fork之后return，之后的逻辑都在子进程中运行
（3）调用worker.init_process 进入循环，worker的所有工作都在这个循环中
（4）循环结束之后，调用sys.exit(0)
（5）最后，在finally中，记录worker进程的退出
gunicorn 概念

Gunicorn“绿色独角兽”是一个被广泛使用的高性能的Python WSGI UNIX HTTP服务器，移植自Ruby的独角兽（Unicorn ）项目,使用pre-fork worker模式，具有使用非常简单，轻量级的资源消耗，以及高性能等特点。

参考：

gunicorn Arbiter 源码解析

gunicorn 源码分析

Gunicorn运行与配置

最后，如果有机会和大家分享下，关于gunicorn的的work_class_type配置不同的使用场景
Op小剑
关注
深入解析 Gunicorn 的两种工作模式：Sync 与 Gevent 模式
吃面不喝汤的博客
09-19 1983
Gunicorn 是一个 Python WSGI HTTP 服务器，它能够将应用程序部署在生产环境中。Gunicorn 支持多种并发工作模式，比如sync（同步）模式和gevent（异步协程）模式，以提高 Flask、Django 等应用的处理能力。Gevent 是 Python 中一个轻量级的协程库，它基于 Greenlet 实现，Greenlet 是一种比线程更轻量的微线程。Gevent 通过事件驱动和协程的方式，实现了 I/O 操作的并发处理。
Python系列：supervisor + gunicorn + flask入门
weixin_54626591的博客
12-14 1801
supervisor + gunicorn + flask入门
Gunicorn
qq_42894586的博客
05-08 1406
做团队技术分享之前写了稿子, 防止自己脑子一片空白不知道讲什么. 干脆放到自己这里吧. 也没什么技术含量. Gunicorn是一个遵循WSGI协议的HTTP SERVER，WSGI应该都比较熟悉，简单略过一下，一般我们都不会把项目的接口直接暴露在互联网中，前面都会加一个web服务器，比如nginx，但是不是所有的服务器和项目框架都能完美的搭配使用，这就需要WSGI协议的存在，web服务器和应用框架...
Gunicorn 配置文件参数详解
最新发布
weixin_71448448的博客
06-01 1126
gunicorn配置参数详解
python之gunicorn的配置（异步非阻塞）
码王吴彦祖的博客
08-15 3198
python之gunicorn的配置（异步非阻塞） python常见的web部署搭配nginx+gunicorn,下面记录一下gunicorn的配置使用。此模块只支持linux系统 安装gunicorn pip install gunicorn gunicorn -h # 查看使用的命令 gunicorn启动一个flask的应用程序 app.py from flask import Flask def create_app(): app = Flask(__name__)
gunicorn + Flask
weixin_42185136的博客
07-25 1156
gunicorn 配置 安装： pip3 install gunicorn 启动： gunicorn -w 50 -b 0.0.0.0:8080 vuln:app --reload -t 500 -D --access-logfile log/gunicorn.log 以上启动命令的含义为： -w 50 开启50个进程 0.0.0.0:8080 定义8080端口 vuln:app vuln为项...
Gunicorn Gevent Worker中使用异步编程
weixin_42285430的博客
12-18 669
Gunicorn Gevent Worker中使用异步编程
flask+gevent+gunicorn+supervisor+nginx异步高并发部署
hang on it more longer
12-06 1519
背景 flask是一款同步阻塞框架，在调用外部http服务时，当前进程将阻塞，无法其他用户的请求，本文则是研究的是如何利用gevent提升flask的并发能力，包括如下内容： 改造前的服务 from flask import Flask import time app = Flask(__name__) @app.route('/') def index(): time.sleep(1...
基于gunicorn+flask+docker模型高并发部署
破损的天堂鸟博客
07-23 1030
基于Gunicorn、Flask和Docker的模型高并发部署是一种常见且高效的方式，适用于需要处理大量并发请求的中大型应用。
基于gunicorn+flask+docker模型高并发部署二
weixin_41850878的博客
06-22 918
在Docker Compose或Docker运行命令中使用--memory和--cpus参数限制容器的内存和CPU使用量，避免单个容器消耗过多资源。根据服务器的CPU核心数调整workers数量，通常建议为(2 * CPU核心数) + 1作为起点，但需要根据实际负载测试进行调整。对于IO密集型应用，可以考虑使用gevent worker（通过-k gevent）来实现协程，提高并发处理能力。使用--device-read-bps和--device-write-bps限制容器的磁盘读写速率。
【python项目部署】flask+gunicorn+gevent+supervisor+docker
llj19940825的博客
05-27 1806
是一个基于协程的 Python 库，它通过事件循环来实现异步 I/O 操作，从而能够在单个工作线程中并发处理多个请求.如何使用flask+gunicorn+gevent+supervisor+docker完成一个python项目部署。所以, 我们需要一个适合生产环境WSGI服务器(例如gunicorn).是一个客户端/服务器系统, 它提供启动、停止、重启、监控进程的功能。这是因为flask自带的服务器性能差较差，只适合开发环境，注意上面的命令，它的结尾有个。是一个开源的应用容器引擎.
gunicorn flask的请求流程
鶸者为何战斗
01-12 6154
当运行gunicorn这个命令启动flask的时候 首先回去调用gunicorn/app/wsgiapp中的run方法 回去调用run()方法，这个run方式本质是gunicorn/arbiter中的run()方法 主要就关注其中manage_workers()方法 很明显调用了spawn_workers()方法，这个方式只是遍历了spawn_worker()。因此我们直接看s
使用Gunicorn部署flask项目
BigData_Mining的博客
11-01 454
Gunicorn安装 pip install greenlet#为使用异步做准备 pip install eventlet#使用eventlet workers pip install gevent#使用gevent workers pip install gunicorn 创建示例文件： from flask import Flask app = Flask(__name__) @app.route('/demo')#如果不想给方法起名就用'/',也可以自己定义名称，例如这里起名为demo def He
flask框架异步处理耗时任务
DokcelyNg的博客
02-24 4861
flask框架异步处理耗时任务 # 异步 executor = ThreadPoolExecutor(10) def run(): """ 函数run是耗时任务 :return: """ data = SQLTool().query('select * from physical_market') print(data) @pccarcityb...
利用flask写的接口(base64, 二进制, 上传视频流)+异步+gunicorn部署Flask服务+多gpu卡部署
智障变智能
09-17 3941
一.flask写的接口 1.manage.py启动服务 这里要注意的是用docker的话,记得端口映射 #coding:utf-8 import base64 import io import logging import pickle from flask import Flask, jsonify, request from PIL import Image from sklearn...
基于gunicorn部署flask项目
酒酿小圆子呀～
08-04 9568
1、WSGI协议 Web框架致力于如何生成HTML代码，而Web服务器用于处理和响应HTTP请求。Web框架和Web服务器之间的通信，需要一套双方都遵守的接口协议。WSGI协议就是用来统一这两者的接口的。 2、WSGI容器 常用的WSGI容器有Gunicorn和uWSGI，但Gunicorn直接用命令启动，不需要编写配置文件，相对uWSGI要容易很多，所以这里我也选择用Gunicorn作为容器。 3、gunicorn介绍 gunicorn是一个python Wsgi http server，只支持在Unix
flask-gunicorn 报错：Worker failed to boot
切尔诺贝尔
02-08 2982
报错如下： Traceback (most recent call last): File "/data/server/test_server/venv/lib/python3.6/site-packages/gunicorn/arbiter.py", line 210, in run self.sleep() File "/data/server/test_server/venv...
Gunicorn，一个非常厉害的 Python 库！
涛哥聊Python
12-28 1654
Gunicorn是一款广受欢迎的WSGI HTTP服务器，专为部署Python Web应用而设计。它兼具轻量级和高性能的特点，能够处理大量并发请求，使之成为Python开发者在生产环境中部署应用的首选。Gunicorn遵循WSGI标准，支持多种工作模式，包括同步和异步，适应不同类型的应用需求。通过配置工作进程和线程数，它可以优化应用的处理能力和资源使用效率。Gunicorn以其简洁、易用和高效的特性，在Python Web开发中占有一席之地，无论是小型项目还是大规模商业部署，都是一个理想的选择。
[1269]使用gunicorn部署flask项目
热门推荐
周小董
03-09 1万+
flask 自带的web服务器可用于开发环境运行调试，不适合部署在生产环境，无法满足线上的性能要求。当使用启动时，flask框架会有一段WSGI： 全称是Web Server Gateway Interface（web服务器网关接口），它是一种规范，它是web服务器和web应用程序之间的接口。它的作用就像是桥梁，连接在web服务器和web应用框架之间。uwsgi： 是一种传输协议，用于定义传输信息的类型。uWSGI： 是实现了uwsgi协议WSGI的web服务器。
flask+gunicorn+flask_socketio
03-08
### 部署带有Flask-SocketIO扩展的Flask应用程序 对于部署包含`Flask-SocketIO`扩展的应用程序，使用Gunicorn作为WSGI服务器时需要注意一些特定事项。通常情况下，为了支持WebSocket协议，推荐采用事件驱动型网络引擎如gevent来处理异步操作。 #### 安装依赖库 安装必要的Python包以确保项目能够正常工作： ```bash pip install flask flask-socketio gevent-websocket gunicorn ``` #### 创建Flask应用并集成Socket.IO功能 定义一个基础的Flask应用，并通过`Flask-SocketIO`初始化Socket.IO实例[^1]： ```python from flask import Flask, render_template from flask_socketio import SocketIO, emit app = Flask(__name__) socketio = SocketIO(app) @app.route('/') def index(): return '<h1>Flask-SocketIO Example</h1>' @socketio.on('message') def handle_message(data): print(f'Received message: {data}') emit('response', {'data': 'Server received your message'}) if __name__ == '__main__': socketio.run(app) ``` 此部分展示了如何设置基本路由以及监听来自客户端的消息事件，并向其发送响应消息。 #### 修改Gunicorn配置以便兼容Socket.IO 为了让Gunicorn能正确地与`Flask-SocketIO`协作，需调整Gunicorn的工作模式为gevent worker类，这可以通过命令行参数或配置文件实现。这里给出基于命令行的方式启动服务的方法[^2]： ```bash gunicorn --worker-class geventwebsocket.gunicorn.workers.GeventWebSocketWorker -w 1 module_name:app ``` 其中`module_name`应替换为你实际保存上述代码片段所在的模块名称（不带`.py`后缀）。注意指定单个工作进程(`-w 1`)是因为多进程中可能会遇到连接共享的问题；而选用`GeventWebSocketWorker`是为了让Gunicorn可以处理WebSockets请求。 另外，在生产环境中建议进一步优化性能参数，比如适当增加线程数等。 #### Heroku上的特殊考虑 当在像Heroku这样的平台上部署时，除了上面提到的内容外还需要准备Procfile用于指示平台怎样启动应用。考虑到要启用WebSocket特性，则Procfile中的指令应该类似于下面这样[^3]： ``` web: gunicorn --worker-class geventwebsocket.gunicorn.workers.GeventWebSocketWorker -w 1 wsgi:app ``` 这里的`wsgi`指的是包含了创建好的Flask应用对象的那个Python脚本的名字（去掉.py），即假设该文件名叫做`wsgi.py`的话就写成如此形式。 #### 关于优雅关闭 最后值得一提的是关于应用的安全终止机制。虽然这不是直接关联到当前主题的部分，但在设计健壮的服务端逻辑时非常重要。为此可以在代码里加入信号处理器或者其他方式注册退出回调函数，从而保证即使是在收到停止指令的情况下也能妥善清理资源[^4]。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值