Python logging

日志等级

从高到低分别有以下几种:
CRITICAL : ‘CRITICAL’, 50
ERROR : ‘ERROR’, 40
WARNING : ‘WARNING’, 30
INFO : ‘INFO’, 20
DEBUG : ‘DEBUG’, 10
比所选等级低的日志记录不会输出,选择DEBUG将输出所有日志。

示例

import logging

def init_log(log_path, log_name="Spider.crawler", level=logging.INFO, when="D", backup=7,
             format="%(levelname)s: %(asctime)s: %(filename)s:%(lineno)d * %(thread)d %(message)s", 
             datefmt="%m-%d %H:%M:%S"):
    """
    init_log - initialize log module

    Args:
      log_path      - Log file path prefix.
                      Log data will go to two files: log_path.log and log_path.log.wf
                      Any non-exist parent directories will be created automatically
      level         - msg above the level will be displayed
                      DEBUG < INFO < WARNING < ERROR < CRITICAL
                      the default value is logging.INFO
      when          - how to split the log file by time interval
                      'S' : Seconds
                      'M' : Minutes
                      'H' : Hours
                      'D' : Days
                      'W' : Week day
                      default value: 'D'
      format        - format of the log
                      default format:
                      %(levelname)s: %(asctime)s: %(filename)s:%(lineno)d * %(thread)d %(message)s
                      INFO: 12-09 18:02:42: log.py:40 * 139814749787872 HELLO WORLD
      backup        - how many backup file to keep
                      default value: 7

    Raises:
        OSError: fail to create log directories
        IOError: fail to open log file
    """
    # log文件夹建立
    dir = os.path.dirname(log_path) # 去掉文件名返回路径
    if not os.path.isdir(dir):
        os.makedirs(dir)
        
    formatter = logging.Formatter(format, datefmt) # 输出格式和时间格式
    logger = logging.getLogger(log_name) # 模块初始化
    logger.setLevel(level)

	# info
    handler = logging.handlers.TimedRotatingFileHandler(log_path + ".log",
                                                        when=when,
                                                        backupCount=backup)
    handler.setLevel(level)
    handler.setFormatter(formatter)
    logger.addHandler(handler)
	
	# warn
    handler = logging.handlers.TimedRotatingFileHandler(log_path + ".log.wf",
                                                        when=when,
                                                        backupCount=backup)
    handler.setLevel(logging.WARNING)
    handler.setFormatter(formatter)
    logger.addHandler(handler)

    ch = logging.StreamHandler() # 日志信息会输出到指定的stream中,为空则默认输出到sys.stderr
    ch.setLevel(level)  
    ch.setFormatter(formatter)
    logger.addHandler(ch)
Python 的 `logging` 模块是一个功能强大且灵活的日志记录工具,广泛用于调试、监控和记录应用程序运行状态。它的使用和配置可以分为基础用法和高级用法,包括通过代码直接配置和使用配置文件进行管理。 ### 基础用法 最简单的使用方式是导入 `logging` 模块,并使用默认的日志记录器。例如: ```python import logging logging.basicConfig(filename='app.log', level=logging.INFO) logging.info('This is an info message') ``` 上面的代码将日志级别设置为 `INFO`,并将日志信息写入 `app.log` 文件中。`basicConfig` 是一种快速配置方式,适用于简单的应用场景。 ### 高级配置 对于更复杂的项目,建议使用配置文件进行管理,以提高可维护性和灵活性。例如,可以使用 YAML 文件来定义日志格式、级别、处理器等。以下是一个示例配置文件 `logger.yml`: ```yaml version: 1 formatters: simple: format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s' handlers: console: class: logging.StreamHandler formatter: simple level: DEBUG file: class: logging.FileHandler filename: 'app.log' formatter: simple level: INFO loggers: billingcodeowner: level: DEBUG handlers: [console, file] root: level: WARNING ``` 在代码中加载该配置文件: ```python import logging import logging.config import codecs import yaml with codecs.open("cfg/logger.yml", 'r', 'utf-8') as f: config = yaml.safe_load(f) logging.config.dictConfig(config) logger = logging.getLogger("billingcodeowner") logger.info("This is an info message") ``` ### 日志级别 `logging` 模块支持多种日志级别,从低到高依次为 `DEBUG`、`INFO`、`WARNING`、`ERROR` 和 `CRITICAL`。根据不同的需求,可以选择合适级别来记录信息。 ### 处理器和格式化器 - **处理器**(Handler):决定日志信息的输出位置,如控制台、文件、网络等。 - **格式化器**(Formatter):定义日志信息的格式。 例如,可以同时将日志输出到控制台和文件: ```python import logging logger = logging.getLogger('my_logger') logger.setLevel(logging.DEBUG) # 创建控制台处理器并设置级别 ch = logging.StreamHandler() ch.setLevel(logging.DEBUG) # 创建文件处理器并设置级别 fh = logging.FileHandler('myapp.log') fh.setLevel(logging.INFO) # 创建格式化器 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s') ch.setFormatter(formatter) fh.setFormatter(formatter) # 添加处理器到 logger logger.addHandler(ch) logger.addHandler(fh) logger.debug('Debug message') logger.info('Info message') logger.warning('Warning message') ``` ### 使用配置文件的优势 使用配置文件(如 YAML 或 JSON)可以将日志配置与代码分离,便于管理和修改。这种方式特别适合大型应用或分布式系统,因为它允许在不修改代码的情况下调整日志行为。 ### 日志模块的灵活性 Python 的 `logging` 模块不仅支持多种日志级别和处理器,还支持过滤器(Filter)和上下文信息(如 `extra` 参数),使得日志记录更加灵活和强大。 ### 常见问题 1. **如何避免重复的日志输出?** 确保每个 logger 只添加一次处理器,或者在配置文件中明确指定处理器。 2. **如何动态更改日志级别?** 可以通过代码动态更改 logger 或 handler 的级别,例如: ```python logger.setLevel(logging.DEBUG) ``` 3. **如何记录异常信息?** 使用 `logger.exception()` 方法可以记录异常信息,并自动附加堆栈跟踪: ```python try: # some code that may raise an exception except Exception as e: logger.exception("An error occurred: %s", e) ``` 4. **如何将日志发送到远程服务器?** 可以使用 `SocketHandler` 或第三方库(如 `logstash`)将日志发送到远程服务器。 5. **如何测试日志输出?** 可以使用 `unittest` 模块中的 `assertLogs` 方法来测试日志输出: ```python import logging import unittest class TestLogging(unittest.TestCase): def test_log_output(self): logger = logging.getLogger('test_logger') with self.assertLogs(logger, level='INFO') as cm: logger.info('Test message') self.assertEqual(cm.output, ['INFO:test_logger:Test message']) if __name__ == '__main__': unittest.main() ``` ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值