Python 中 logging 模块的使用

日志相关概念

日志是一种可以追踪某些软件运行时所发生事件的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可以用一个可包含可选变量数据的消息来描述。此外，事件也有重要性的概念，这个重要性也可以被称为严重性级别（level）。

日志的作用

通过log的分析，可以方便用户了解系统或软件、应用的运行情况；如果你的应用log足够丰富，也可以分析以往用户的操作行为、类型喜好、地域分布或其他更多信息；如果一个应用的log同时也分了多个级别，那么可以很轻易地分析得到该应用的健康状况，及时发现问题并快速定位、解决问题，补救损失。

程序调试

了解软件程序运行情况，是否正常
软件程序运行故障分析与问题定位
如果应用的日志信息足够详细和丰富，还可以用来做用户行为分析，如：分析用户的操作行为、类型洗好、地域分布以及其它更多的信息，由此可以实现改进业务、提高商业利益。

日志的等级

在软件开发阶段或部署开发环境时，为了尽可能详细的查看应用程序的运行状态来保证上线后的稳定性，我们可能需要把该应用程序所有的运行日志全部记录下来进行分析，这是非常耗费机器性能的。

当应用程序正式发布或在生产环境部署应用程序时，我们通常只需要记录应用程序的异常信息、错误信息等，这样既可以减小服务器的I/O压力，也可以避免我们在排查故障时被淹没在日志的海洋里。那么，怎样才能在不改动应用程序代码的情况下实现在不同的环境记录不同详细程度的日志呢？这就是日志等级的作用了，我们通过配置文件指定我们需要的日志等级就可以了。

不同的应用程序所定义的日志等级可能会有所差别，分的详细点的会包含以下几个等级：

DEBUG
INFO
NOTICE
WARNING
ERROR
CRITICAL
ALERT
EMERGENCY

日志字段信息与日志格式

本节开始问题提到过，一条日志信息对应的是一个事件的发生，而一个事件通常需要包括以下几个内容：

事件发生时间
事件发生位置
事件的严重程度–日志级别
事件内容

说明：

输出一条日志时，日志内容和日志级别是需要开发人员明确指定的。对于而其它字段信息，只需要是否显示在日志中就可以了。

日志功能的实现

Python自身提供了一个用于记录日志的标准库模块–logging。

logging模块简介

logging模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。logging模块是Python的一个标准库模块，由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能。所以，你的应用日志可以将你自己的日志信息与来自第三方模块的信息整合起来。

logging模块的日志级别

logging模块默认定义了以下几个日志等级，它允许开发人员自定义其他日志级别，但是这是不被推荐的，尤其是在开发供别人使用的库时，因为这会导致日志级别的混乱。

日志等级（level） 描述

 DEBUG	最详细的日志信息，典型应用场景是 问题诊断
 INFO	信息详细程度仅次于DEBUG，通常只记录关键节点信息，用于确认一切都是按照我们预期的那样进行工作
 WARNING	当某些不期望的事情发生时记录的信息（如，磁盘可用空间较低），但是此时应用程序还是正常运行的
 ERROR	由于一个更严重的问题导致某些功能不能正常运行时记录的信息
 CRITICAL	当发生严重错误，导致应用程序不能继续运行时记录的信息

logging模块的使用方式介绍l

logging模块提供了两种记录日志的方式：

第一种方式是使用logging提供的模块级别的函数
第二种方式是使用Logging日志系统的四大组件
其实，logging所提供的模块级别的日志记录函数也是对logging日志系统相关类的封装而已。

logging模块定义的模块级别的常用函数
函数 说明

 logging.debug(msg, *args, **kwargs)	创建一条严重级别为DEBUG的日志记录
 logging.info(msg, *args, **kwargs)	创建一条严重级别为INFO的日志记录
 logging.warning(msg, *args, **kwargs)	创建一条严重级别为WARNING的日志记录
 logging.error(msg, *args, **kwargs)	创建一条严重级别为ERROR的日志记录
 logging.critical(msg, *args, **kwargs)	创建一条严重级别为CRITICAL的日志记录
 logging.log(level, *args, **kwargs)	创建一条严重级别为level的日志记录
 logging.basicConfig(**kwargs)	对root logger进行一次性配置

其中logging.basicConfig(**kwargs)函数用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息，其他几个都是用于记录各个级别日志的函数。

logging模块的四大组件
组件 说明

  loggers	提供应用程序代码直接使用的接口
  handlers	用于将日志记录发送到指定的目的位置
  filters	提供更细粒度的日志过滤功能，用于决定哪些日志记录将会被输出（其它的日志记录将会被忽略）
  formatters	用于控制日志信息的最终输出格式

说明： logging模块提供的模块级别的那些函数实际上也是通过这几个组件的相关实现类来记录日志的，只是在创建这些类的实例时设置了一些默认值。

三、使用logging提供的模块级别的函数记录日志
回顾下前面提到的几个重要信息：

可以通过logging模块定义的模块级别的方法去完成简单的日志记录
只有级别大于或等于日志记录器指定级别的日志记录才会被输出，小于该级别的日志记录将会被丢弃。
1.最简单的日志输出
先来试着分别输出一条不同日志级别的日志记录：

import logging

logging.debug(“This is a debug log.”)
logging.info(“This is a info log.”)
logging.warning(“This is a warning log.”)
logging.error(“This is a error log.”)
logging.critical(“This is a critical log.”)
也可以这样写：

logging.log(logging.DEBUG, “This is a debug log.”)
logging.log(logging.INFO, “This is a info log.”)
logging.log(logging.WARNING, “This is a warning log.”)
logging.log(logging.ERROR, “This is a error log.”)
logging.log(logging.CRITICAL, “This is a critical log.”)
输出结果：

WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.

因为日志默认级别是info 以上，所以前面两条信息不输出

logging模块日志流处理流程

logging模块的四大组件：

组件名称 对应类名 功能描述

日志器 Logger 提供了应用程序可一直使用的接口
处理器 Handler 将logger创建的日志记录发送到合适的目的输出
过滤器 Filter 提供了更细粒度的控制工具来决定输出哪条日志记录，丢弃哪条日志记录
格式器 Formatter 决定日志记录的最终输出格式

logging模块就是通过这些组件来完成日志处理的，上面所使用的logging模块级别的函数也是通过这些组件对应的类来实现的。

这些组件之间的关系描述：

日志器（logger）需要通过处理器（handler）将日志信息输出到目标位置，如：文件、sys.stdout、网络等；
不同的处理器（handler）可以将日志输出到不同的位置；
日志器（logger）可以设置多个处理器（handler）将同一条日志记录输出到不同的位置；
每个处理器（handler）都可以设置自己的过滤器（filter）实现日志过滤，从而只保留感兴趣的日志；
每个处理器（handler）都可以设置自己的格式器（formatter）实现同一条日志以不同的格式输出到不同的地方。
简单点说就是：日志器（logger）是入口，真正干活儿的是处理器（handler），处理器（handler）还可以通过过滤器（filter）和格式器（formatter）对要输出的日志内容做过滤和格式化等处理操作。

与logging四大组件相关的类：Logger, Handler, Filter, Formatter。
Logger类
Logger对象有3个任务要做：

1）向应用程序代码暴露几个方法，使应用程序可以在运行时记录日志消息；
2）基于日志严重等级（默认的过滤设施）或filter对象来决定要对哪些日志进行后续处理；
3）将日志消息传送给所有感兴趣的日志handlers。
Logger对象最常用的方法分为两类：配置方法 和 消息发送方法

最常用的配置方法如下：

方法 描述

Logger.setLevel()	设置日志器将会处理的日志消息的最低严重级别
Logger.addHandler() 和 Logger.removeHandler()	为该logger对象添加 和 移除一个handler对象
Logger.addFilter() 和 Logger.removeFilter()	为该logger对象添加 和 移除一个filter对象

使用handlers 输出到不同的日志文件

all.log   error.log

import logging
import logging.handlers
import datetime

logger = logging.getLogger(‘mylogger’)
logger.setLevel(logging.DEBUG)

rf_handler = logging.handlers.TimedRotatingFileHandler(‘all.log’, when=‘midnight’, interval=1, backupCount=7, atTime=datetime.time(0, 0, 0, 0))
rf_handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(message)s"))

f_handler = logging.FileHandler(‘error.log’)
f_handler.setLevel(logging.ERROR)
f_handler.setFormatter(logging.Formatter("%(asctime)s - %(levelname)s - %(filename)s[:%(lineno)d] - %(message)s"))

logger.addHandler(rf_handler)
logger.addHandler(f_handler)

logger.debug(‘debug message’)
logger.info(‘info message’)
logger.warning(‘warning message’)
logger.error(‘error message’)
logger.critical(‘critical message’)