- import logging
- import os
- logging.basicConfig(filename = os.path.join(os.getcwd(), 'log.txt'), level = logging.DEBUG)
- logging.debug('debug message')
- logging.info('info message')
- logging.warning('warning message')
- logging.error('error message')
- logging.critical('critical message')
- import logging
- logging.basicConfig(level=logging.DEBUG,
- format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
- datefmt='%a, %d %b %Y %H:%M:%S',
- filename='/tmp/test.log',
- filemode='w')
- logging.debug('debug message')
- logging.info('info message')
- logging.warning('warning message')
- logging.error('error message')
- logging.critical('critical message')
cat /tmp/test.log
Mon, 05 May 2014 16:29:53 test_logging.py[line:9] DEBUG debug message
Mon, 05 May 2014 16:29:53 test_logging.py[line:10] INFO info message
Mon, 05 May 2014 16:29:53 test_logging.py[line:11] WARNING warning message
Mon, 05 May 2014 16:29:53 test_logging.py[line:12] ERROR error message
Mon, 05 May 2014 16:29:53 test_logging.py[line:13] CRITICAL critical message
可见在logging.basicConfig()函数中可通过具体参数来更改logging模块默认行为,可用参数有
filename:用指定的文件名创建FiledHandler(后边会具体讲解handler的概念),这样日志会被存储在指定的文件中。
filemode:文件打开方式,在指定了filename时使用这个参数,默认值为“a”还可指定为“w”。
format:指定handler使用的日志显示格式。
datefmt:指定日期时间格式。
level:设置rootlogger(后边会讲解具体概念)的日志级别
stream:用指定的stream创建StreamHandler。可以指定输出到sys.stderr,sys.stdout或者文件,默认为sys.stderr。若同时列出了filename和stream两个参数,则stream参数会被忽略。
format参数中可能用到的格式化串:
%(name)s Logger的名字
%(levelno)s 数字形式的日志级别
%(levelname)s 文本形式的日志级别
%(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcName)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间,用UNIX标准的表示时间的浮 点数表示
%(relativeCreated)d 输出日志信息时的,自Logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程ID。可能没有
%(threadName)s 线程名。可能没有
%(process)d 进程ID。可能没有
%(message)s用户输出的消息
4个主要的组件
logger: 日志类,应用程序往往通过调用它提供的api来记录日志;
handler: 对日志信息处理,可以将日志发送(保存)到不同的目标域中;
filter: 对日志信息进行过滤;
formatter:日志的格式化;
日志级别
在记录日志时, 日志消息都会关联一个级别("级别"本质上是一个非负整数)。系统默认提供了6个级别,它们分别是:
级别 | 对应的值 |
---|---|
CRITICAL | 50 |
ERROR | 40 |
WARNING | 30 |
INFO | 20 |
DEBUG | 10 |
NOTSET | 0 |
logging模块中的常用函数:
logging.basicConfig([**kwargs]):
为日志模块配置基本信息。kwargs 支持如下几个关键字参数:
filename :日志文件的保存路径。如果配置了些参数,将自动创建一个FileHandler作为Handler;
filemode :日志文件的打开模式。 默认值为'a',表示日志消息以追加的形式添加到日志文件中。如果设为'w', 那么每次程序启动的时候都会创建一个新的日志文件;
format :设置日志输出格式;
datefmt :定义日期格式;
level :设置日志的级别.对低于该级别的日志消息将被忽略;
stream :设置特定的流用于初始化StreamHandler;
下面是一个简单的例子:
- #coding=gbk
- import logging
- logging.basicConfig(filename = os.path.join(os.getcwd(), 'log.txt'), /
- level = logging.WARN, filemode = 'w', format = '%(asctime)s - %(levelname)s: %(message)s')
- logging.debug('debug') #被忽略
- logging.info('info') #被忽略
- logging.warning('warn')
- logging.error('error')
- #----- 结果
- #2009-07-13 21:42:15,592 - WARNING: warn
- #2009-07-13 21:42:15,640 - ERROR: error
logging.getLogger([name])
创建Logger对象。日志记录的工作主要由Logger对象来完成。在调用getLogger时要提供Logger的名称(注:多次使用相同名称来调用getLogger,返回的是同一个对象的引用。),Logger实例之间有层次关系,这些关系通过Logger名称来体现,如:
p = logging.getLogger("root")
c1 = logging.getLogger("root.c1")
c2 = logging.getLogger("root.c2")
例子中,p是父logger, c1,c2分别是p的子logger。c1, c2将继承p的设置。如果省略了name参数, getLogger将返回日志对象层次关系中的根Logger。
logging.setLoggerClass(klass)
logging.getLoggerClass()
获取/设置日志类型。用户可以自定义日志类来代替系统提供的logging.Logger类。
logging.getLevelName(lvl)
获取日志级别对应的名称。例如:
- print logging.getLevelName(logging.NOTSET)
- print logging.getLevelName(10) #logging.DEBUG
- print logging.getLevelName(logging.DEBUG)
- print logging.getLevelName(30) #logging.WARN
- print logging.getLevelName(logging.ERROR)
- print logging.getLevelName(50) #logging.CRITICAL
logging.shutdown()
当不再使用日志系统的时候,调用该方法,它会将日志flush到对应的目标域上。一般在系统退出的时候调用。
Logger对象 通过调用logging.getLogger(name)来创建,它有如下常用的方法和属性:
Logger.setLevel(lvl):
设置日志的级别。对于低于该级别的日志消息将被忽略。下面一个例子演示setLevel方法:
- #coding=gbk
- import logging
- logging.basicConfig(filename = os.path.join(os.getcwd(), 'log.txt'), level = logging.DEBUG)
- log = logging.getLogger('root.test')
- log.setLevel(logging.WARN) #日志记录级别为WARNNING
- log.info('info') #不会被记录
- log.debug('debug') #不会被记录
- log.warning('warnning')
- log.error('error')
Logger.debug(msg [ ,*args [, **kwargs]])
记录DEBUG级别的日志信息。参数msg是信息的格式,args与kwargs分别是格式参数。
- import logging
- logging.basicConfig(filename = os.path.join(os.getcwd(), 'log.txt'), level = logging.DEBUG)
- log = logging.getLogger('root')
- log.debug('%s, %s, %s', *('error', 'debug', 'info'))
- log.debug('%(module)s, %(info)s', {'module': 'log', 'info': 'error'})
Logger.info(msg[ , *args[ , **kwargs] ] )
Logger.warnning(msg[ , *args[ , **kwargs] ] )
Logger.error(msg[ , *args[ , **kwargs] ] )
Logger.critical(msg[ , *args[ , **kwargs] ] )
记录相应级别的日志信息。参数的含义与Logger.debug一样。
Logger.log(lvl, msg[ , *args[ , **kwargs] ] )
记录日志,参数lvl用户设置日志信息的级别。参数msg, *args, **kwargs的含义与Logger.debug一样。
Logger.exception(msg[, *args])
以ERROR级别记录日志消息,异常跟踪信息将被自动添加到日志消息里。Logger.exception通过用在异常处理块中,如:
- import logging
- logging.basicConfig(filename = os.path.join(os.getcwd(), 'log.txt'), level = logging.DEBUG)
- log = logging.getLogger('root')
- try:
- raise Exception, 'this is a exception'
- except:
- log.exception('exception') #异常信息被自动添加到日志消息中
Logger.addFilter(filt)
Logger.removeFilter(filt)
添加/移除日志消息过滤器。在讲述Filter时具体介绍。
Logger.addHandler(hdlr)
Logger.removeHandler(hdlr)
添加/移除日志消息处理器。在讲述Handler时具体介绍。
Logger.makeRecord(name, lvl, fn, lno, msg, args, exc_info[, func, extra])
创建LogRecord对象。日志消息被实例为一个LogRecord对象,并在日志类内处理。
若要对logging进行更多灵活的控制有必要了解一下Logger,Handler,Formatter,Filter的概念上述几个例子中我们了解到了logging.debug()、logging.info()、logging.warning()、logging.error()、logging.critical()(分别用以记录不同级别的日志信息),logging.basicConfig()(用默认日志格式(Formatter)为日志系统建立一个默认的流处理器(StreamHandler),设置基础配置(如日志级别等)并加到root logger(根Logger)中)这几个logging模块级别的函数,另外还有一个模块级别的函数是logging.getLogger([name])(返回一个logger对象,如果没有指定名字将返回root logger)
先看一个具体的例子
- #coding:utf-8
- import logging
- # 创建一个logger
- logger = logging.getLogger()
- logger1 = logging.getLogger('mylogger')
- logger1.setLevel(logging.DEBUG)
- logger2 = logging.getLogger('mylogger')
- logger2.setLevel(logging.INFO)
- logger3 = logging.getLogger('mylogger.child1')
- logger3.setLevel(logging.WARNING)
- logger4 = logging.getLogger('mylogger.child1.child2')
- logger4.setLevel(logging.DEBUG)
- logger5 = logging.getLogger('mylogger.child1.child2.child3')
- logger5.setLevel(logging.DEBUG)
- # 创建一个handler,用于写入日志文件
- fh = logging.FileHandler('/tmp/test.log')
- # 再创建一个handler,用于输出到控制台
- ch = logging.StreamHandler()
- # 定义handler的输出格式formatter
- formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
- fh.setFormatter(formatter)
- ch.setFormatter(formatter)
- #定义一个filter
- #filter = logging.Filter('mylogger.child1.child2')
- #fh.addFilter(filter)
- # 给logger添加handler
- #logger.addFilter(filter)
- logger.addHandler(fh)
- logger.addHandler(ch)
- #logger1.addFilter(filter)
- logger1.addHandler(fh)
- logger1.addHandler(ch)
- logger2.addHandler(fh)
- logger2.addHandler(ch)
- #logger3.addFilter(filter)
- logger3.addHandler(fh)
- logger3.addHandler(ch)
- #logger4.addFilter(filter)
- logger4.addHandler(fh)
- logger4.addHandler(ch)
- logger5.addHandler(fh)
- logger5.addHandler(ch)
- # 记录一条日志
- logger.debug('logger debug message')
- logger.info('logger info message')
- logger.warning('logger warning message')
- logger.error('logger error message')
- logger.critical('logger critical message')
- logger1.debug('logger1 debug message')
- logger1.info('logger1 info message')
- logger1.warning('logger1 warning message')
- logger1.error('logger1 error message')
- logger1.critical('logger1 critical message')
- logger2.debug('logger2 debug message')
- logger2.info('logger2 info message')
- logger2.warning('logger2 warning message')
- logger2.error('logger2 error message')
- logger2.critical('logger2 critical message')
- logger3.debug('logger3 debug message')
- logger3.info('logger3 info message')
- logger3.warning('logger3 warning message')
- logger3.error('logger3 error message')
- logger3.critical('logger3 critical message')
- logger4.debug('logger4 debug message')
- logger4.info('logger4 info message')
- logger4.warning('logger4 warning message')
- logger4.error('logger4 error message')
- logger4.critical('logger4 critical message')
- logger5.debug('logger5 debug message')
- logger5.info('logger5 info message')
- logger5.warning('logger5 warning message')
- logger5.error('logger5 error message')
- logger5.critical('logger5 critical message')
先简单介绍一下,logging库提供了多个组件:Logger、Handler、Filter、Formatter。Logger对象提供应用程序可直接使用的接口,Handler发送日志到适当的目的地,Filter提供了过滤日志信息的方法,Formatter指定日志显示格式。
Logger
Logger是一个树形层级结构,输出信息之前都要获得一个Logger(如果没有显示的获取则自动创建并使用root Logger,如第一个例子所示)。
logger = logging.getLogger()返回一个默认的Logger也即root Logger,并应用默认的日志级别、Handler和Formatter设置。
当然也可以通过Logger.setLevel(lel)指定最低的日志级别,可用的日志级别有logging.DEBUG、logging.INFO、logging.WARNING、logging.ERROR、logging.CRITICAL。
Logger.debug()、Logger.info()、Logger.warning()、Logger.error()、Logger.critical()输出不同级别的日志,只有日志等级大于或等于设置的日志级别的日志才会被输出。
我们看到程序中
- logger.debug('logger debug message')
- logger.info('logger info message')
- logger.warning('logger warning message')
- logger.error('logger error message')
- logger.critical('logger critical message')
2014-05-06 12:54:43,222 - root - WARNING - logger warning message
2014-05-06 12:54:43,223 - root - ERROR - logger error message
2014-05-06 12:54:43,224 - root - CRITICAL - logger critical message
从这个输出可以看出logger = logging.getLogger()返回的Logger名为root。这里没有用logger.setLevel()显示的为logger设置日志级别,所以使用默认的日志级别WARNIING,故结果只输出了大于等于WARNIING级别的信息。
另外,我们明明通过logger1.setLevel(logging.DEBUG)将logger1的日志级别设置为了DEBUG,为何显示的时候没有显示出DEBUG级别的日志信息,而是从INFO级别的日志开始显示呢?原来logger1和logger2对应的是同一个Logger实例,只要logging.getLogger(name)中名称参数name相同则返回的Logger实例就是同一个,且仅有一个,也即name与Logger实例一一对应。在logger2实例中通过logger2.setLevel(logging.INFO)设置mylogger的日志级别为logging.INFO,所以最后logger1的输出遵从了后来设置的日志级别。
- logger1 = logging.getLogger('mylogger')
- logger1.setLevel(logging.DEBUG)
- logger2 = logging.getLogger('mylogger')
- logger2.setLevel(logging.INFO)
这是因为我们通过logger = logging.getLogger()显示的创建了root Logger,而logger1 = logging.getLogger('mylogger')创建了root Logger的孩子(root.)mylogger,logger2同样。
logger3 = logging.getLogger('mylogger.child1')创建了(root.)mylogger.child1
logger4 = logging.getLogger('mylogger.child1.child2')创建了(root.)mylogger.child1.child2
logger5 = logging.getLogger('mylogger.child1.child2.child3')创建了(root.)mylogger.child1.child2.child3
而孩子,孙子,重孙……既会将消息分发给他的handler进行处理也会传递给所有的祖先Logger处理。
试着注释掉如下一行程序,观察程序输出
- #logger.addHandler(fh)
2014-05-06 15:10:10,980 - mylogger - INFO - logger1 info message
2014-05-06 15:10:10,980 - mylogger - INFO - logger1 info message
2014-05-06 15:10:10,981 - mylogger - WARNING - logger1 warning message
2014-05-06 15:10:10,981 - mylogger - WARNING - logger1 warning message
2014-05-06 15:10:10,982 - mylogger - ERROR - logger1 error message
2014-05-06 15:10:10,982 - mylogger - ERROR - logger1 error message
2014-05-06 15:10:10,984 - mylogger - CRITICAL - logger1 critical message
2014-05-06 15:10:10,984 - mylogger - CRITICAL - logger1 critical message
……
而在文件输出中每条记录对应一行(因为我们注释掉了logger.addHandler(fh),没有对root Logger启用FileHandler)
2014-05-06 15:10:10,980 - mylogger - INFO - logger1 info message
2014-05-06 15:10:10,981 - mylogger - WARNING - logger1 warning message
2014-05-06 15:10:10,982 - mylogger - ERROR - logger1 error message
2014-05-06 15:10:10,984 - mylogger - CRITICAL - logger1 critical message
孩子,孙子,重孙……可逐层继承来自祖先的日志级别、Handler、Filter设置,也可以通过Logger.setLevel(lel)、Logger.addHandler(hdlr)、Logger.removeHandler(hdlr)、Logger.addFilter(filt)、Logger.removeFilter(filt)。设置自己特别的日志级别、Handler、Filter。若不设置则使用继承来的值。
Handler
上述例子的输出在标准输出和指定的日志文件中均可以看到,这是因为我们定义并使用了两种Handler。
- fh = logging.FileHandler('/tmp/test.log')
- ch = logging.StreamHandler()
Handler.setLevel(lel):指定日志级别,低于lel级别的日志将被忽略
Handler.setFormatter():给这个handler选择一个Formatter
Handler.addFilter(filt)、Handler.removeFilter(filt):新增或删除一个filter对象
可以通过addHandler()方法为Logger添加多个Handler:
- logger.addHandler(fh)
- logger.addHandler(ch)
有多中可用的Handler:
logging.StreamHandler 可以向类似与sys.stdout或者sys.stderr的任何文件对象(file object)输出信息logging.FileHandler 用于向一个文件输出日志信息
logging.handlers.RotatingFileHandler 类似于上面的FileHandler,但是它可以管理文件大小。当文件达到一定大小之后,它会自动将当前日志文件改名,然后创建一个新的同名日志文件继续输出
logging.handlers.TimedRotatingFileHandler 和RotatingFileHandler类似,不过,它没有通过判断文件大小来决定何时重新创建日志文件,而是间隔一定时间就自动创建新的日志文件
logging.handlers.SocketHandler 使用TCP协议,将日志信息发送到网络。
logging.handlers.DatagramHandler 使用UDP协议,将日志信息发送到网络。
logging.handlers.SysLogHandler 日志输出到syslog
logging.handlers.NTEventLogHandler 远程输出日志到Windows NT/2000/XP的事件日志
logging.handlers.SMTPHandler 远程输出日志到邮件地址
logging.handlers.MemoryHandler 日志输出到内存中的制定buffer
logging.handlers.HTTPHandler 通过"GET"或"POST"远程输出到HTTP服务器
各个Handler的具体用法可查看参考书册:
https://docs.python.org/2/library/logging.handlers.html#module-logging.handlers
Formatter
Formatter对象设置日志信息最后的规则、结构和内容,默认的时间格式为%Y-%m-%d %H:%M:%S。
- #定义Formatter
- formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
- #为Handler添加Formatter
- fh.setFormatter(formatter)
- ch.setFormatter(formatter)
Filter
限制只有满足过滤规则的日志才会输出。
比如我们定义了filter = logging.Filter('a.b.c'),并将这个Filter添加到了一个Handler上,则使用该Handler的Logger中只有名字带a.b.c前缀的Logger才能输出其日志。
取消下列两行程序的注释
- #filter = logging.Filter('mylogger.child1.child2')
- #fh.addFilter(filter)
2014-05-06 15:27:36,227 - mylogger.child1.child2 - DEBUG - logger4 debug message
2014-05-06 15:27:36,227 - mylogger.child1.child2 - DEBUG - logger4 debug message
当然也可以直接给Logger加Filter。若为Handler加Filter则所有使用了该Handler的Logger都会受到影响。而为Logger添加Filter只会影响到自身。
注释掉
- #fh.addFilter(filter)
- #logger.addFilter(filter)
- #logger1.addFilter(filter)
- #logger3.addFilter(filter)
- #logger4.addFilter(filter)
发现root、mylogger、mylogger.child1的输出全部被过滤掉了。
除了直接在程序中设置Logger,Handler,Filter,Formatter外还可以将这些信息写进配置文件中。
例如典型的logging.conf
- [loggers]
- keys=root,simpleExample
- [handlers]
- keys=consoleHandler
- [formatters]
- keys=simpleFormatter
- [logger_root]
- level=DEBUG
- handlers=consoleHandler
- [logger_simpleExample]
- level=DEBUG
- handlers=consoleHandler
- qualname=simpleExample
- propagate=0
- [handler_consoleHandler]
- class=StreamHandler
- level=DEBUG
- formatter=simpleFormatter
- args=(sys.stdout,)
- [formatter_simpleFormatter]
- format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
- datefmt=
程序可以这么写
- import logging
- import logging.config
- logging.config.fileConfig("logging.conf") # 采用配置文件
- # create logger
- logger = logging.getLogger("simpleExample")
- # "application" code
- logger.debug("debug message")
- logger.info("info message")
- logger.warn("warn message")
- logger.error("error message")
- logger.critical("critical message")
多模块使用logging
logging模块保证在同一个python解释器内,多次调用logging.getLogger('log_name')都会返回同一个logger实例,即使是在多个模块的情况下。所以典型的多模块场景下使用logging的方式是在main模块中配置logging,这个配置会作用于多个的子模块,然后在其他模块中直接通过getLogger获取Logger对象即可。
main.py:
- import logging
- import logging.config
- logging.config.fileConfig('logging.conf')
- root_logger = logging.getLogger('root')
- root_logger.debug('test root logger...')
- logger = logging.getLogger('main')
- logger.info('test main logger')
- logger.info('start import module \'mod\'...')
- import mod
- logger.debug('let\'s test mod.testLogger()')
- mod.testLogger()
- root_logger.info('finish test...')
子模块mod.py:
- import logging
- import submod
- logger = logging.getLogger('main.mod')
- logger.info('logger of mod say something...')
- def testLogger():
- logger.debug('this is mod.testLogger...')
- submod.tst()
- import logging
- logger = logging.getLogger('main.mod.submod')
- logger.info('logger of submod say something...')
- def tst():
- logger.info('this is submod.tst()...')