Scrapy的log日志功能

Scrapy日志配置指南
最新推荐文章于 2024-12-27 15:53:46 发布
最新推荐文章于 2024-12-27 15:53:46 发布
阅读量475 收藏
点赞数
CC 4.0 BY-SA版权
文章标签： python
原文链接：http://www.cnblogs.com/shouzhong/p/7685822.html
本文介绍了Scrapy框架中的日志配置方法，包括如何通过settings.py文件设置日志级别、日志文件等，并详细解释了五种日志级别的含义。

Logging

Scrapy提供了log功能，可以通过 logging 模块使用

可以修改配置文件settings.py，任意位置添加下面两行

LOG_FILE = "mySpider.log"
LOG_LEVEL = "INFO"

Scrapy提供5层logging级别:

  • CRITICAL - 严重错误(critical)
  • ERROR - 一般错误(regular errors)
  • WARNING - 警告信息(warning messages)
  • INFO - 一般信息(informational messages)
  • DEBUG - 调试信息(debugging messages)
logging设置

通过在setting.py中进行以下设置可以被用来配置logging:

  1. LOG_ENABLED 默认: True，启用logging
  2. LOG_ENCODING 默认: 'utf-8'，logging使用的编码
  3. LOG_FILE 默认: None，在当前目录里创建logging输出文件的文件名
  4. LOG_LEVEL 默认: 'DEBUG'，log的最低级别
  5. LOG_STDOUT 默认: False 如果为 True，进程所有的标准输出(及错误)将会被重定向到log中。例如，执行 print "hello" ，其将会在Scrapy log中显示

 

转载于:https://www.cnblogs.com/shouzhong/p/7685822.html

Python爬虫之Scrapy框架系列（11）——scrapy.spider类源码剖析及scrapy中使用日志三种方法
孤寒者的博客
07-19 2万+
Python爬虫之Scrapy框架系列（11）——scrapy.spider类源码剖析及scrapy中使用日志三种方法
scrapy中log日志优化【自动定时优化log输出文件，防止文件过大占用系统资源】
zaishijizhidian的博客
08-15 2942
Scrapy运行时会输出log日志到本地，导致日志文件会越来越大,时间一长可能会出现资源大部分被日志文件占用的情况。为了查看运行情况又不能全都删除，其实这个日志有用的部分也就是最后那几百行而已，那我们能不能只保留日志中最后的那几行信息，其他过期的日志定期删除了。当然有，这就是我们接下来要做的 所以现在可以写一个脚本，来定时更新日志文件，将最后的100行保存下来就好了。 首先在项目文件夹新建...
Scrapy: log日志模块的设计详解下
Minner
12-27 367
上面两篇文章介绍了log文件的大部分内容Scrapy: log日志模块的设计详解上Scrapy: log日志模块的设计详解中这篇文件介绍剩下几个方法，这几个方法使用比较独立。
Scrapy: log日志模块的设计详解上
Minner
12-26 886
scrapy中的日志模块使用了python中logging库实现。是logging库的典型应用。我们可以分析其使用方法，借鉴设计方法，提取使用技巧，来优化我们自己开发项目的日志模块设计logging官方文档：https://docs.python.org/zh-cn/3.9/howto/logging.html#logging-howtologging的基本使用，还有日志的级别，大家去看官网文档非常详细。我这里做一些汇总介绍，为后面讲解scrapy中的设计方法做准备。
爬虫准备—logging模块的使用
风雨雾凇的博客
01-14 1973
为什么使用logging模块？为什么我们要使用logging模块来代替print函数记录日志呢？因为使用模块可以更好的管理我们的日志，并且可以将标准输入输出保存到日志文件，而且利用logging模块可以部分代替debug的功能，给程序排错。简述logging模块默认情况分为6个级别： NOTSET : 0 DEBUG : 10 INFO:20 WARNING : 30 ERROR :
scrapy的日志功能 Logging
小羽飞的博客
05-18 3039
Logging 1、Scrapy 提供了 log 功能，可以通过 logging 模块使用。 可以修改配置文件 settings.py，任意位置添加下面两行，效果会清爽很多。 LOG_FILE = "meiju.log" LOG_LEVEL = "INFO" Log levels Scrapy 提供 5 层 logging 级别: CRITICAL - 严重错误(cri...
scrapy的logging设置
weixin_42628986的博客
10-09 1976
个人代码 spider代码（见else） layNum = 0 for lay in info: layNum += 1 layoutID = self.newspaperID + publishDate + '{:0>2}'.format(layNum) itemLay...
Scrapy: log日志模块的设计详解中
Minner
12-27 1032
scrapy中的日志模块使用了python中logging库实现。是logging库的典型应用。我们可以分析其使用方法，借鉴设计方法，提取使用技巧，来优化我们自己开发项目的日志模块设计Scrapy: log日志模块的设计详解上这篇文章主要介绍了logging库本身的一些概念，由于篇幅有限，scrapy源码中的logging用法将在这篇文章中介绍。
scrapy---Logging
weixin_30807677的博客
03-07 88
Scrapy 提供了 log 功能，可以通过 logging 模块使⽤。可以修改配置⽂件 settings.py，任意位置添加下⾯两⾏，效果会清爽很多。LOG_FILE = "TencentSpider.log"LOG_LEVEL = "INFO"Log levelsScrapy 提供 5 层 logging 级别:CRITICAL - 严重错误(critical)ERROR - ⼀般错误(reg...
scrapy中logging使用
ITMAN009的博客
05-05 520
Logging¶ Scrapy提供了log功能。您可以通过 scrapy.log 模块使用。当前底层实现使用了 Twisted logging ，不过可能在之后会有所变化。 log服务必须通过显示调用 scrapy.log.start() 来开启。 Log levels¶ Scrapy提供5层logging级别: CRITICAL - 严重错误(critical) ERROR - 一般错误(...
Scrapy 爬虫框架01—— logging（日志）
magicboom的博客
04-28 844
1.为什么要使用Logging? 在进行测试的时候，许多初学Pythoner喜欢使用Print函数，这样本身没什么不好， 但是在使用scrapy的时候，由于Scrapy 是多线程，所以你有时候没有办法确定在terminal上显示的data到底是哪里的data. 这时，我们可以使用logging 模块。 首先看在scrapy中使用logging模块。 首先是看scrapy 文件：...
scrapy学习篇（二）--logging模块的学习
qq_42052864的博客
04-13 351
logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等 Scrapy中日志的设置 scrapy的setting.py中加入log_lever的设置 LOG_LEVEL="WARNING" #保存日志文件，则不会输出显示 #LOG_FILE="./log.log" 在写的爬虫代码spider中加入以下代码，同理pipeline也可以实例化一个logger，获得日志文件 import logging import scrapy
scrapy框架之log日志
weixin_30781107的博客
08-25 184
scrapy中的debug信息 在scrapy中设置log 1、在settings中设置log级别，在settings.py中添加一行： Scrapy提供5层logging级别: CRITICAL - 严重错误(critical) ERROR - 一般错误(regular errors) WARNING - 警告信息(warning messages) ...
scrapy之Logging使用
weixin_34194087的博客
02-03 113
#coding:utf-8 __author__ = 'similarface' ###################### ##Logging的使用 ###################### import logging ''' 1. logging.CRITICAL - for critical errors (highest severity) 致命错误 2....
Scrapy 中 log 功能
Great Expectations的博客
08-22 1183
Scrapy提供了log功能，可以通过 logging 模块使用 可以在settings 中添加使用 LOG_FILE = "mySpider.log" LOG_LEVEL = "INFO" LOG_FILE 储存log文件路径 LOG_LEVEL 日志等级 Scrapy提供5层logging级别: CRITICAL - 严重错误(critical) ERROR - 一般错误...
Python——Scrapy框架之Logging模块的使用
自律
03-30 440
logging模块的使用 Scrapy settings中设置LOG_lEVEL=“WARNING” setting中设置LOG_FILE="./.log" #设置日志保存位置，设置后终端不会显示日志内容 import logging 实例化logger的方式在任何文件中使用Logger输出内容 普通项目中 import logging logging,basicConfig(…) #设...
logging模块的使用1——在scrapy框架中
yuhui_2000的博客
10-22 395
简单设置log 1.LOG_LEVEL=“WARN” 为了让我们自己希望输出到终端的内容能够更容易看懂一些“ 我们可以在settings.py中设置log的级别 在settings.py中添加一行（全部大写） LOG_LEVEL="WARN" 这样的话，默认终端显示的就是比"WARN"等级要高的log信息 添加之前终端的显示 启动爬虫：scrapy crawl itcast 2020-10-22 15:45:37 [scrapy.utils.log] INFO: Scrapy 2.4.0 start
scrapy的日志logging的使用
huangwencai123的博客
04-27 1483
scrapy的日志logging的使用 1、 意义 ： 为了方便在调试。在scrapy运行中可能停不下来， 关闭就没有记录了。因此把日志保存在文本中方便看信息。 2 、使用： 1） 在settings中增加： # log config import datetime Today=datetime.datetime.now()#取得现在的时间 Log_file_path='scrapy_{}_{}_...
scrapy log
最新发布
06-16
### Scrapy框架中的日志功能配置与使用 Scrapy 提供了内置的日志功能，允许用户记录爬虫运行过程中的信息、警告和错误。这种日志功能基于 Python 的标准库 `logging` 模块，并且可以通过多种方式配置以满足不同的需求[^3]。 #### 配置日志功能 Scrapy 的日志功能可以通过设置参数或命令行选项进行配置。以下是一些常见的配置方法： 1. **通过命令行选项配置日志** 在启动 Scrapy 爬虫时，可以使用 `-L` 或 `--loglevel` 选项来设置日志级别。例如： ```bash scrapy crawl myspider -L DEBUG ``` 上述命令将日志级别设置为 `DEBUG`，从而记录更详细的信息[^4]。 2. **通过设置参数配置日志** 在项目的 `settings.py` 文件中，可以定义以下参数来控制日志行为： - `LOG_ENABLED`: 启用或禁用日志功能（默认为 `True`）。 - `LOG_LEVEL`: 设置日志的最低级别（如 `DEBUG`, `INFO`, `WARNING`, `ERROR`, `CRITICAL`）。 - `LOG_FILE`: 指定日志输出的文件路径。 - `LOG_FORMAT`: 定义日志消息的格式。 - `LOG_DATEFORMAT`: 定义日志时间戳的格式。 示例配置如下： ```python LOG_ENABLED = True LOG_LEVEL = 'DEBUG' LOG_FILE = 'scrapy.log' LOG_FORMAT = '%(asctime)s [%(name)s] %(levelname)s: %(message)s' LOG_DATEFORMAT = '%Y-%m-%d %H:%M:%S' ``` 3. **自定义日志处理器** 如果需要更复杂的日志处理逻辑，可以通过扩展 Scrapy 的日志系统实现。例如，可以添加一个自定义的日志处理器来将日志发送到远程服务器或数据库中。示例如下： ```python import logging from logging.handlers import RotatingFileHandler def setup_logging(): logger = logging.getLogger('scrapy') handler = RotatingFileHandler('scrapy.log', maxBytes=10*1024*1024, backupCount=5) formatter = logging.Formatter('%(asctime)s [%(name)s] %(levelname)s: %(message)s') handler.setFormatter(formatter) logger.addHandler(handler) setup_logging() ``` #### 使用日志功能 在 Scrapy 爬虫中，可以通过 `self.logger` 对象记录日志消息。例如： ```python import scrapy class MySpider(scrapy.Spider): name = 'myspider' def parse(self, response): self.logger.debug('Parsing page: %s', response.url) self.logger.info('Successfully parsed page: %s', response.url) # 其他爬取逻辑... ``` 上述代码片段展示了如何在爬虫中使用 `self.logger` 记录调试和信息级别的日志消息[^5]。 #### 日志级别说明 Scrapy 的日志系统支持以下日志级别（从低到高）： - `DEBUG`: 调试信息，通常用于开发阶段。 - `INFO`: 一般信息，表示爬虫正常运行。 - `WARNING`: 警告信息，提示潜在问题。 - `ERROR`: 错误信息，表示爬虫遇到问题。 - `CRITICAL`: 严重错误信息，可能导致爬虫终止运行。 ### 示例完整代码 以下是一个完整的 Scrapy 爬虫示例，包含日志配置和使用： ```python import scrapy from scrapy.crawler import CrawlerProcess class MySpider(scrapy.Spider): name = 'myspider' start_urls = ['http://www.example.com'] def parse(self, response): self.logger.debug('Parsing page: %s', response.url) self.logger.info('Successfully parsed page: %s', response.url) # 配置并启动爬虫 process = CrawlerProcess({ 'LOG_ENABLED': True, 'LOG_LEVEL': 'DEBUG', 'LOG_FILE': 'scrapy.log', 'LOG_FORMAT': '%(asctime)s [%(name)s] %(levelname)s: %(message)s', 'LOG_DATEFORMAT': '%Y-%m-%d %H:%M:%S' }) process.crawl(MySpider) process.start() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值