利用scrapy框架爬去得到数据但是无法写入文件的问题

最新推荐文章于 2024-12-12 22:37:28 发布

原创最新推荐文章于 2024-12-12 22:37:28 发布 · 6k 阅读

2 ·

CC 4.0 BY-SA版权

本文介绍了解决爬取当当网书籍信息时遇到的数据无法写入文件和数据库的问题。通过开启settings.py中的ITEM_PIPELINES配置项，并运行pipelines.py文件中的函数实现数据写入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在爬取当当网书籍信息的时候，我想把数据写入文件和数据库啊，但是那些数据都能显示在命令行中但是无法写入文件和数据库中，后来发现是在settings.py中没有将Pipeline打开，即如下图所示：
这里写图片描述
这里把ITEM_PIPELINES这个字典的注释去掉之后才可以运行pipelines.py这个文件，之后就可以利用pipelines.py中的函数写入数据库和文件了