Python数据科学实战：日志处理模块详解

原创于 2025-06-01 09:04:06 发布 · 374 阅读

CC 4.0 BY-SA版权

Python数据科学实战：日志处理模块详解

data-science-ipython-notebooks donnemartin/data-science-ipython-notebooks: 是一系列基于 IPython Notebook 的数据科学教程，它涉及了 Python、 NumPy、 pandas、 SQL 等多种数据处理工具。适合用于学习数据科学和分析，特别是对于需要使用 Python 和 SQL 等工具进行数据分析和处理的场景。特点是数据科学教程、IPython Notebook、Python、SQL。项目地址: https://gitcode.com/gh_mirrors/da/data-science-ipython-notebooks

日志记录(Logging)是软件开发中不可或缺的重要组成部分，它可以帮助开发者追踪程序运行状态、调试错误以及监控系统行为。本文将基于数据科学项目中常见的日志处理需求，深入讲解Python中两种实用的日志轮转(Log Rotation)技术：RotatingFileHandler和TimedRotatingFileHandler。

为什么需要日志轮转？

在数据科学项目中，日志文件往往会随着时间推移变得越来越大，这会导致几个问题：

单个大文件难以管理和分析
占用过多磁盘空间
查找特定时间段的日志变得困难

日志轮转技术通过自动分割日志文件来解决这些问题，保持日志文件大小和数量的可控性。

RotatingFileHandler：基于文件大小的轮转

RotatingFileHandler是Python标准库logging模块提供的一个处理器，它会在日志文件达到指定大小时自动创建新文件。

核心参数解析

maxBytes：指定单个日志文件的最大字节数
backupCount：保留的备份文件数量

实际应用示例

import logging
import time
from logging.handlers import RotatingFileHandler

def create_rotating_log(path):
    """
    创建基于大小轮转的日志
    """
    logger = logging.getLogger("Rotating Log")
    logger.setLevel(logging.INFO)
    
    # 添加轮转处理器
    handler = RotatingFileHandler(path, maxBytes=20, backupCount=5)
    logger.addHandler(handler)
    
    for i in range(10):
        logger.info(f"这是测试日志行 {i}")
        time.sleep(1.5)

if __name__ == "__main__":
    log_file = "test.log"
    create_rotating_log(log_file)

轮转机制说明

当主日志文件(test.log)达到maxBytes指定的大小时：

当前文件会被重命名为test.log.1
如果已有test.log.1，则会被重命名为test.log.2，依此类推
备份文件数量超过backupCount时，最旧的备份文件会被删除

TimedRotatingFileHandler：基于时间的轮转

对于需要按时间周期分割日志的场景，TimedRotatingFileHandler是更好的选择。

核心参数解析

when：轮转时间单位，支持以下值：
- 'S'：秒
- 'M'：分钟
- 'H'：小时
- 'D'：天
- 'W0'-'W6'：按周轮转(0=周一)
- 'midnight'：每天午夜
interval：轮转间隔
backupCount：保留的备份文件数量

实际应用示例

import logging
import time
from logging.handlers import TimedRotatingFileHandler

def create_timed_rotating_log(path):
    """
    创建基于时间轮转的日志
    """
    logger = logging.getLogger("Rotating Log")
    logger.setLevel(logging.INFO)
    
    # 每分钟轮转一次，保留5个备份
    handler = TimedRotatingFileHandler(path,
                                     when="m",
                                     interval=1,
                                     backupCount=5)
    logger.addHandler(handler)
    
    for i in range(20):
        logger.info("这是一条测试日志！")
        time.sleep(1.5)

if __name__ == "__main__":
    log_file = "timed_test.log"
    create_timed_rotating_log(log_file)