Scrapy(一)日志的设置

最新推荐文章于 2025-01-12 15:29:02 发布

rightfight

最新推荐文章于 2025-01-12 15:29:02 发布

阅读量1.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/y_z_w123/article/details/81182054

Python 专栏收录该内容

5 篇文章

订阅专栏

本文介绍了Scrapy爬虫项目的日志配置方法，包括不同级别的日志类型、如何通过代码设置日志文件路径以及必要的文件夹权限配置。适用于希望精细化管理Scrapy爬虫日志记录的开发者。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

日志设置

##错误级别
CRITICAL - 严重错误
ERROR - 一般错误
WARNING - 警告信息
INFO - 一般信息
DEBUG - 调试信息
##目录文件
Hello/
scrapy.cfg
Hello/
init.py
items.py
pipelines.py
settings.py
spiders/
init.py

##文件夹设置

文件及路径，log目录需要先建好
log建立在第一个Hello的下面
Linux平台:要给log文件夹相应的权限

##代码的书写

在settings.py里进行添加以下代码

today = datetime.now()
log_file_path = "log/{}-{}-{} {}:{}:{}.log".format(today.year, today.month, today.day,today.hour,today.minute,today.second)
LOG_LEVEL= 'DEBUG'
LOG_FILE =log_file_path