scrapy 日志信息输出设置

最新推荐文章于 2025-10-31 14:30:26 发布

原创最新推荐文章于 2025-10-31 14:30:26 发布 · 2.5k 阅读

4 ·

CC 4.0 BY-SA版权

Bug 专栏收录该内容

16 篇文章

订阅专栏

本文介绍如何在Scrapy框架中设置日志级别，包括DEBUG、INFO、WARNING、ERROR及CRITICAL，帮助开发者在开发和生产环境中合理控制日志输出，提高代码调试效率。

scrapy框架在使用的时候，会输出许多调试的信息，这样看起来很乱，所以我们输出的日志文件进行一下调试

在settings中设置输出级别

LOG_LEVEL = "DEBUG"  # 输出级别
LOG_STDOUT = true  # 是否标准输出

各种级别参数设置

CRITICAL -- 关键错误
ERROR -- 一般级别的错误
WARNING -- 警告信息
INFO -- 信息消息的日志（建议生产模式使用）
DEBUG -- 调试消息的日志（建议开发模式）

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

老酱儿

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Scrapy: log日志模块的设计详解中

Minner

12-27

1085

scrapy中的日志模块使用了python中logging库实现。是logging库的典型应用。我们可以分析其使用方法，借鉴设计方法，提取使用技巧，来优化我们自己开发项目的日志模块设计Scrapy: log日志模块的设计详解上这篇文章主要介绍了logging库本身的一些概念，由于篇幅有限，scrapy源码中的logging用法将在这篇文章中介绍。

Python----Python爬虫（Scrapy启动，输出日志，数据的提取，保存数据，保存图片，配置文件settings的使用）

weixin_64110589的博客

01-12

1781

Python----Python爬虫（Scrapy启动，输出日志，数据的提取，保存数据，保存图片，配置文件settings的使用）

参与评论您还未登录，请先登录后发表或查看评论

Python爬虫之scrapy的日志信息与配置

不一样的花朵的博客

09-26

584

scrapy的日志信息与配置学习目标：了解 scrapy的日志信息掌握 scrapy的常用配置掌握 scrapy_redis配置了解scrapy_splash配置了解scrapy_redis和scrapy_splash配合使用的配置 1. 了解scrapy的日志信息 2. scrapy的常用配置 ROBOTSTXT_OBEY 是否遵守robots协议，默认是遵守关于robots协议在百度搜索中，不能搜索到淘宝网中某一个具体的商品的详情页面，这就是robots协议在起作用 Ro

scrapy日志的设置

weixin_51078972的博客

04-14

385

爬虫scrapy框架只看错误输出的设置可以打开创建的Scrapy文件下，在Setting处进行日志等级设定:Log__LEVEL='ERROR',完成设置后，再运行文件，就可以发现系统报错的话，会直接显示错误的地方，而不需要长篇幅阅读整个日志。可以打开创建的Scrapy文件下，在Setting处进行日志等级设定:Log__LEVEL=‘ERROR’,完成设置后，再运行文件，就可以发现系统报错的话，会直接显示错误的地方，而不需要长篇幅阅读整个日志。 ...

Scrapy(一)日志的设置

Sinker的博客

07-24

1756

日志设置错误级别 CRITICAL - 严重错误 ERROR - 一般错误 WARNING - 警告信息 INFO - 一般信息 DEBUG - 调试信息目录文件 Hello/ scrapy.cfg Hello/ __init__.py items.py pipelines.py settings.py spiders/ ...

Scrapy 如何设置日志

weixin_34116110的博客

05-06

699

Logging 模块刚开始接触的时候，我看官方文档只说了怎么设置日志，没有将去哪里看日志。然后参考了 python 关于 logging 的文档，我发现可以自定义一个输出的文件。 # 在你需要输出日志的地方设置，比如 your_spider.py import logging # level 表示级别 logging.basicConfig(filename='example.log',leve...

Scrapy 日志初始化分析，实现自定义日志handler和日志着色

璃儿安心

04-01

816

Scrapy 日志源码简单分析，分析如何进行配置读取并初始化；解决Scrapy 在 Pycharm 终端输出为红色，能自定义handler或者给日志着色

scrapy关闭日志输出的设置

06-29

首先，用户的问题是：“我想在使用Scrapy时关闭日志输出的设置方法请问how todisable logoutput inScrapy”。用户想知道如何在Scrapy中关闭日志输出。根据系统指令，我需要：-使用中文回答。-结构清晰，逐步解决问题...

Scrapy框架中，如何有效地管理和维护爬虫的日志记录？

weixin_43822401的博客

07-29

791

在Scrapy框架中，日志记录是监控爬虫行为和调试问题的重要手段。合理地管理和维护爬虫的日志记录，可以帮助开发者更好地了解爬虫的运行状态，并及时发现和解决问题。

Scrapy自定义日志和系统日志按级别输出到不同文件

03-08

565

当时搞了好久，代码就下面几行，太懒了直接贴吧： import time, os, logging # get my_logger def get_logger(domain, start_time = time.strftime('%Y%m%d%H%M%S', time.localtime...

scrapy 开发日志

bobbykey的博客

08-13

391

2018.8.13 登陆知乎 1、配置scrapy调试在工程文件下新建python文件夹main.py用于调试项目（当然还可以使用pdb进行调试） main.py from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file...

[Scapy]不输出信息到控制台

friend_c的博客

03-11

963

Scapy发包时会在控制台输出信息， Begin emission: Finished sending 1 packets. ..........................................................................................................................................................^C Received 154 packets, got 0 answers,

【Python从入门到进阶】53、Scrapy日志信息及日志级别

程序猿之洞

04-27

2116

在Scrapy框架中，日志扮演着至关重要的角色。日志不仅记录了爬虫在运行过程中的详细行为，还提供了大量有助于开发者定位问题和优化程序的信息。通过日志，开发者可以了解到爬虫的每一步操作，包括请求的发送、响应的接收、数据的解析以及任何可能出现的异常。这些信息对于调试程序、监控运行状态以及优化性能都是不可或缺的。

将Debug调试信息输出到控制台或文件

weixin_30378623的博客

03-22

877

将Debug调试信息输出到控制台或文件时常会碰到这种情况，策划们跑过来说程序出错了，然后呱呱啦啦的描述了一大堆也没把问题说清楚。若是能将程序的运行信息自动的记录起来，找bug就方便多了，也就是log功能。另外为调试程序，时常需要在程序里打入一些调试信息，这样可以更方便的发现BUG。这些调试信息只能在编辑器的调试模式下才能看到，或者借助第三方软件比如de...

Scrapy之Debug

Lovehanxiaoyan的博客

03-09

389

十四、认识scrapy的debug信息

Norni的博客

05-22

202

当LOG_LEVEL="DEBUG"等级时，运行爬虫会出现一些信息

Scrapy logging日志重复输出的解决方法

Catastrophe

04-08

1908

如果是完全在scrapy流程中的日志，一般有三种输出方式。 from scrapy.log import logger logger.info("info") # 会抛出warning，警告scrapy.log已经被废弃，此时的logger为 scrapy.log # ScrapyDeprecationWarning: Module `scrapy.log` has been depreca...

爬虫scrapy框架--log日志输出配置及使用