Gunicorn+GeventWorker环境下fork进程意外结束的问题

最新推荐文章于 2022-12-02 16:10:17 发布
最新推荐文章于 2022-12-02 16:10:17 发布
阅读量1.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 软件技术 文章标签： python flask gunicorn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012276970/article/details/117698453
在Gunicorn+GeventWorker托管的Flask应用中，使用os.fork创建进程时，GeventWorker会因检测到子进程脱离管理而将其结束。由于Flask-Sockets对WebSocket的依赖，导致这个问题更复杂。通过分析Gunicorn源码，发现可以通过重写GeventWebSocketWorker的notify方法来解决此问题，允许在Gunicorn中安全地fork子进程。不过，子进程在完成任务后必须自行结束，以避免预期外的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

版权声明：本文为博主原创文章，转载请注明出处。

前言

在使用Gunicorn+GeventWorker托管Flask应用，使用os.fork时出现了以下问题。

 

1

Parent changed, shutting down : <Worker xxxx>

  • 本文摘录自本人毕业设计论文。

问题分析

通过os.fork创建进程，实际上是将当前进程的内存数据复制了一份给子进程，当子进程发现其不是由Gunicorn主进程所创建时，Gunicorn中的GeventWorker会将脱离管理的进程杀死。

由于实现业务功能需要使用WebSocket，而WebSocket通信基于Flask-Sockets实现，Flask-Sockets又在Gunicorn环境中依赖GeventWorker启动，所以导致了无法正常使用os.fork。

根据Gunicorn中GeventWorker源码分析可知，当使用os.fork创建子进程时，其父进程id会发生变化，当子进程受到到来自Gunicorn主进程通知时，会发现其脱离父进程的管理，然后结束子进程本身。

  • 以下为Gunicorn中gunicorn.workers.ggevent包部分代码。

 


  

 


                

        

    

    
  


        

            

                      
                        最低0.47元/天 解锁文章
                        

                          
200万优质内容无限畅学

                          
                        

                      
            

        


    



                



	

		

			

				
					
python线程安全问题_python-memcached的线程安全问题

				
			

			

				

					weixin_39727976的博客
				

				

					02-10
					
					411
					
				

			

		

		

			
				
答案是肯定的，前提你在使用Python 2.4+和python-memcached 1.36+为什么我们需要线程安全的memcachedclient，因为我们的实际应用一般是多线程的模型，例如cherrypy、twisted，如果python-memcached不是线程安全的话，引起的问题不仅仅是并发修改共享变量这么简单，是外部socket链接的数据流的混乱python-memcached怎么实现...

			
		

	



                

            
              



	

		

			

				
					
gunicorn超时报错[CRITICAL] WORKER TIMEOUT

				
			

			

				

					tangsiqi130的博客
				

				

					06-20
					
					1595
					
				

			

		

		

			
				
gunicorn超时报错[CRITICAL] WORKER TIMEOUT

			
		

	



              


  
              

                


	

		

			

				
					
解决gunicorn部署的时候遇到gunicorn中断的问题

				
			

			

				

					weixin_46077728的博客
				

				

					07-28
					
					2391
					
				

			

		

		

			
				
gunicorn突然中断
之前一个项目用docker+gunicorn部署，使用gunicorn做为服务器来启动，但是老是遇到突然中断，后来发现

原来gunicorn有个默认的运行时间是（30s）,在这个时间段没有给服务器响应，gunicorn就会挂掉。
解决方法：

在启动gunicorn的命令加上 -t (时间/s) 来控制服务器允许的响应时间

...

			
		

	





	

		

			

				
					
mlflow server搭建及mlflow api调用示例

				
			

			

				

					Cai Yichao的博客
				

				

					06-08
					
					3145
					
				

			

		

		

			
				
1  搭建mlflow tracking server
1.1  搭建MinIO

搭建MinIO的目的是为了给mlflow提供模型数据的存储后台，此案例的mflow的元数据存储采用mysql。

step 1 安装并启动Docker服务
若已安装docker服务请忽略，若未安装：
# 设置yum源
yum install -y yum-utils device-mapper-persistent-data lvm2 
yum-config-manager --add-repo https://downlo

			
		

	



		

			
		



	

		

			

				
					
linux php 平滑升级,从5.9平滑升级到6.x

				
			

			

				

					weixin_32620265的博客
				

				

					03-26
					
					272
					
				

			

		

		

			
				
[2018-08-20 17:10:24 +0000] [36913] [INFO] Starting gunicorn 19.9.0[2018-08-20 17:10:24 +0000] [36913] [INFO] Listening at: http://0.0.0.0:8081 (36913)[2018-08-20 17:10:24 +0000] [36913] [INFO] Using ...

			
		

	





	

		

			

				
					
使用多线程Worker解决切换页面定时器停止

				
			

			

				

					如是牛
				

				

					08-16
					
					2283
					
				

			

		

		

			
				
worker多线程

			
		

	





	

		

			

				
					
gunicorn worker 启动函数

				
			

			

				

					04-01
				

			

		

		

			
				
另外，可能需要解释不同worker类型的区别，比如sync、gunicorn.workers.ggevent.GEventWorker等，因为不同的worker处理请求的方式不同，可能会影响启动函数的执行环境。  还要注意，用户可能对如何将配置应用到...

			
		

	





	

		

			

				
					
在华为昇腾平台上使用Gunicorn以geventwebsocket.gunicorn.workers.GeventWebSocketWorker工作模式运行时torch加载模型遇到的错误

					
最新发布

				
			

			

				

					04-01
				

			

		

		

			
				
但在GeventWorker的情况下，可能没有fork多个worker，而是使用协程处理请求，因此单例模式可能不同。  可能的错误示例包括： - 初始化NPU失败，提示设备未找到或资源繁忙。 - 模型加载时内存不足或显存分配错误。 - ...

			
		

	





	

		

			

				
					
Python Web性能调优：Nginx和Gunicorn的终极优化技巧

				
			

			

				

					
				

			

		

		

			
				
[Python Web性能调优：Nginx和Gunicorn的终极优化技巧](https://blog.containerize.com/how-to-optimize-your-website-using-gzip-compression-in-nginx/images/enable-gzip-compression-in-nginx.png) # 1. Python ...

			
		

	





	

		

			

				
					
如下代码意思：
"""Async gunicorn worker for aiohttp.web"""

import asyncio
import os
import re
import signal
import sys
from types import FrameType
from typing import Any, Awaitable, Callable, Optional, Union  # noqa

from gunicorn.config import AccessLogFormat as GunicornAccessLogFormat
from gunicorn.workers import base

from aiohttp import web

from .helpers import set_result
from .web_app import Application
from .web_log import AccessLogger

try:
    import ssl

    SSLContext = ssl.SSLContext
except ImportError:  # pragma: no cover
    ssl = None  # type: ignore[assignment]
    SSLContext = object  # type: ignore[misc,assignment]


__all__ = ("GunicornWebWorker", "GunicornUVLoopWebWorker")


class GunicornWebWorker(base.Worker):  # type: ignore[misc,no-any-unimported]

    DEFAULT_AIOHTTP_LOG_FORMAT = AccessLogger.LOG_FORMAT
    DEFAULT_GUNICORN_LOG_FORMAT = GunicornAccessLogFormat.default

    def __init__(self, *args: Any, **kw: Any) -> None:  # pragma: no cover
        super().__init__(*args, **kw)

        self._task: Optional[asyncio.Task[None]] = None
        self.exit_code = 0
        self._notify_waiter: Optional[asyncio.Future[bool]] = None

    def init_process(self) -> None:
        # create new event_loop after fork
        asyncio.get_event_loop().close()

        self.loop = asyncio.new_event_loop()
        asyncio.set_event_loop(self.loop)

        super().init_process()

    def run(self) -> None:
        self._task = self.loop.create_task(self._run())

        try:  # ignore all finalization problems
            self.loop.run_until_complete(self._task)
        except Exception:
            self.log.exception("Exception in gunicorn worker")
        self.loop.run_until_complete(self.loop.shutdown_asyncgens())
        self.loop.close()

        sys.exit(self.exit_code)

    async def _run(self) -> None:
        runner = None
        if isinstance(self.wsgi, Application):
            app = self.wsgi
        elif asyncio.iscoroutinefunction(self.wsgi):

				
			

			

				

					03-17
				

			

		

		

			
				
正确的导入应该是`gunicorn.workers.ggevent.GeventWorker`，但如果是aiohttp的话，可能需要不同的worker类型。  接下来，我需要解释AsyncWorker的工作原理。异步worker通过事件循环和非阻塞I/O来处理多个请求，从而...

			
		

	





	

		

			

				
					
gunicorn源码分析

				
			

			

				

					qq_33339479的博客
				

				

					11-03
					
					3867
					
				

			

		

		

			
				
服务器端编程(linux epoll模型)#!/usr/bin/env python
 #-*- coding:utf-8 -*- import socket
 import select
 import Queue #创建socket对象
 serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
 #设置IP地址复用
 se

			
		

	





	

		

			

				
					
微信小程序：Flask+Gunicorn+gevent后端搭建（基于华为云）与前端部署

				
			

			

				

					abcd740181246的博客
				

				

					12-04
					
					3005
					
				

			

		

		

			
				
毕设的一部分是做一个微信小程序。需要公网IP，因此需要购买云服务器，并且申请域名。正赶上华为云搞活动，结结实实的薅了一把羊毛。（华为云操作教程参考我的另一篇博客：https://blog.youkuaiyun.com/abcd740181246/article/details/103381183。当然希望大家货比三家，看看哪个平台性价比高买哪个。）

后端小白经过摸索，终于完成了小程序的后台搭建，并做了一个小...

			
		

	





	

		

			

				
					
Gunicorn常用配置

				
			

			

				

					小姐姐_墨墨的博客
				

				

					06-27
					
					3357
					
				

			

		

		

			
				
编号
			
			
			命令
			
			
			含义
			
		
			1
			
			
			/srv/python2/bin/python
			
			
			Python环境
			
		
			2
			
			
			/srv/gunicorn18080/gunicorn
			
			
			gunicorn环境
			
		
			3
			
			
			-u...

			
		

	





	

		

			

				
					
utils系列:gunicorn flask 启动多进程；杀gunicorn 进程

				
			

			

				

					qq_38284951的博客
				

				

					06-24
					
					2034
					
				

			

		

		

			
				
一、gunicorn flask

一个简单的flask demo：


#main.py
from flask import Flask
app = Flask(__name__)

@app.route('/')
def index():
    return 'hello world'


if __name__ == '__main__':
    app.run()

安装gunciorn


pip install gunicorn

gunicorn 执行命令


gunicorn -b 0.

			
		

	





	

		

			

				
					
一条命令停止gunicorn进程

				
			

			

				

					socct_yj的博客
				

				

					11-14
					
					6429
					
				

			

		

		

			
				
gunicorn的进程没有restart，stop之类的重启命令，只能通过kill主进程杀掉

但是这样对于自动化部署来说就不太方便了，所以取了个巧，从gunicron 绑定端口下手来杀掉gunicorn进程


kill $(lsof -i:<端口>|awk '{if(NR==2)print $2}')

解释一下命令，首先是lsof 命令，是通过端口来查询PID的命令

执行结果是...

			
		

	





	

		

			

				
					
python网络编程库_Python的网络编程库Gevent的安装及使用技巧

				
			

			

				

					weixin_39845461的博客
				

				

					11-21
					
					215
					
				

			

		

		

			
				
安装（以CentOS为例）gevent依赖libevent和greenlet：1.安装libevent直接yum install libevent然后配置python的安装2.安装easy_install（1）wget -q http://peak.telecommunity.com/dist/ez_setup.py（2）使用python ez_setup.py（3）使用easy_install ...

			
		

	





	

		

			

				
					
A Graceful End - Python Flask/Gunicorn后端退出钩子

				
			

			

				

					大数据laji佬自留地
				

				

					12-02
					
					1667
					
				

			

		

		

			
				
Flask、Gunicorn等框架的钩子Hook研究

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值