Tornado多进程方式log切分错误的解决方案

在生产环境中,log一般按照时间进行切分,如在23:59:59切分一天的日志,以便进行分析。在python中常用内建的logging模块实现

    logger = logging.getLogger()
    logger.setLevel(logging.DEBUG)   
    log_file = 'tornadolog.log'
    timelog = timelog = logging.handlers.TimedRotatingFileHandler(log_file,
                                                                'midnight', 
                                                                1, 0)
    logger.addHandler(timelog)

    logger.info('Hello log')

但是,tornado的多进程部署方式会发生错误,原因是单个的日志文件作为进程间的共享资源,当其中一个进程进行日志切分的时候,实际上是将原来的日志文件改名,然后新建一个日志文件,文件操作描述符fd发生了改变,其它的进程不知道这个操作,再次写入日志的时候因为找不到新的文件描述符发生异常。

解决方法也很简单,我们可以是每个tornado进程都有一个自己的日志文件,通过进程的task_id进行区分,避免进程间共享资源的操作。

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#
# Copyright 2012 Ethan Zhang<http://github.com/Ethan-Zhang> 
#
# Licensed under the Apache License, Version 2.0 (the "License"); you may
# not use this file except in compliance with the License. You may obtain
# a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS, WITHOUT
# WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the                                                    
# License for the specific language governing permissions and limitations
# under the License.


import signal                                                                                                                 
import os                                                                                                                     
import logging                                                                                                                
import logging.handlers                                            
Flask和Tornado都是Python的Web框架,它们提供了一种方式来构建和部署Web应用程序。关于多进程的问题,这两个框架有一些不同的处理方式。 在Flask中,多进程可以通过使用WSGI服务器来实现。WSGI(Web Server Gateway Interface)是Python应用程序和Web服务器之间的通用接口。你可以使用像Gunicorn、uWSGI或者mod_wsgi这样的WSGI服务器来运行Flask应用程序,并配置它们以使用多个工作进程来处理并发请求。这样就可以充分利用系统资源,提高应用程序的性能和并发处理能力。 在Tornado中,它本身就是一个异步的Web服务器,基于单线程事件循环的模型。默认情况下,Tornado在单个进程中运行,并通过事件循环来处理并发请求。然而,Tornado也支持多进程部署。你可以使用Tornado提供的`tornado.process`模块来创建多个子进程,并在每个子进程中运行一个独立的Tornado实例。这样可以通过利用多个CPU核心来提高应用程序的并发处理能力。 需要注意的是,使用多进程部署时需要考虑共享资源的问题,例如数据库连接、缓存等。你需要确保在多个进程之间正确管理和同步这些资源,以避免冲突和数据不一致的问题。 总结来说,无论你选择使用Flask还是Tornado,都可以通过使用适当的服务器来实现多进程部署,从而提高应用程序的性能和并发处理能力。具体的实现方式会根据你选择的服务器和部署环境而有所不同。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值