scrapy框架_爬虫_踩过的小坑

最新推荐文章于 2023-12-02 13:05:44 发布

转载最新推荐文章于 2023-12-02 13:05:44 发布 · 199 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/longpy/p/11166308.html

文章标签：

#python #爬虫

博主学习Scrapy爬虫框架时遇到Bug，找了很久未解决。重新创建项目复制代码后可正常运行，对比发现是多了几行注释。最终确定是在scrapy.cfg中写的一行中文注释导致问题，删除后恢复正常。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

刚开始学scrapy爬虫框架, 一个bug把我心态搞炸了. 找了半天硬是找不出来.

然后重新创了一个项目, 把原代码copy 过来又可以正常跑了.

懵逼!!! 我也没做什么呀! 对比发现就是多了几行注释. 最后发现就是注释惹的祸.....

我在 scrapy.cfg 中写了一行中文注释. 最后删了就好了...

全程懵逼!!!

转载于:https://www.cnblogs.com/longpy/p/11166308.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30537391

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

m0_67844671的博客

05-31

6612

Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）

Python爬虫框架Scrapy使用心得

weixin_38379488的博客

05-19

710

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！这是你第一次使用 Markdown编辑器所展示的欢迎页。如果你想学习如何使用Mar

参与评论您还未登录，请先登录后发表或查看评论

scrapy 框架中遇到的bug~~~~~~持续更新

guan_coder的博客

08-20

402

域名错误 class WendaSpider(scrapy.Spider): name = 'wenda' # allowed_domains = ['autohome.com'] #域名错误会导致后续的URL无法继续解析，所以要求要么不写。要写就必须确保写对~@@@@ start_urls = ['https://wenda.autohome.com.cn/to...

39疾病库-scrapy爬虫

kk的博客

11-07

352

1. 程序创建第一步，需要设置这个在setting文件中 # Crawl responsibly by identifying yourself (and your website) on the user-agent USER_AGENT = 'spiderTest1 (+https://jbk.39.net/)'

scrapy 爬虫踩过的坑（I）

weixin_30698527的博客

11-09

369

问题1：正则表达式没问题，但是爬虫进不了item方法分析：　　1. 可能是下载不到list 页面的内容。可以用 scrapy shell url 进行测试　　　　2. 可能是allowed_domains 不允许　　　　3. list 页面里的链接不符合正则表达式或者说list 页面里根本就没有相关的链接解决方案针对第一种：有可能是所爬取的网站有反爬虫机制...

[Scrapy使用技巧] 如何在scrapy中捕获并处理各种异常

0x8g1T9E-

07-08

9496

前言使用scrapy进行大型爬取任务的时候（爬取耗时以天为单位），无论主机网速多好，爬完之后总会发现scrapy日志中“item_scraped_count”不等于预先的种子数量，总有一部分种子爬取失败，失败的类型可能有如下图两种（下图为scrapy爬取结束完成时的日志）： scrapy中常见的异常包括但不限于：download error（蓝色区域）, http code 403/500（橙色区域）。不管是哪种异常，我们都可以参考scrapy自带的retry中间件写法来编写自己的中间件。...

scrapy遇到的常见错误-Unknown command: crawl

最新发布

weixin_54104072的博客

12-02

1366

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。

scrapy教程基础篇

菠萝盖饭的博客

04-19

1272

文章目录scrapy教程1、安装2、简介3、项目教学命令行全局命令项目命令创建流程实战讲解文件作用代码实例`chin.py``items.py``pipelines.py` scrapy教程系统：linux 虚拟机版本：Ubuntu 16.04 1、安装 pip install scrapy 其集成了TWISTED异步网络框架 scrapy安装里面一般会自动帮你安装twisted等其他一些库...

使用python 调用scrapy的爬虫Spider并且相互之间可以正常传参实现全局

hoddy355的博客

07-22

5991

各种调用scrapy的方法有很多，比如： import os os.system("scrapy crawl SpiderName") import scrapy from scrapy.crawler import CrawlerProcess class MySpider(scrapy.Spider): # Your spider definition ... pr...

记录一个 scrapy 使用的bug！！！巨坑巨坑！

weixin_44185953的博客

12-28

779

scrapy 配合selenium使用的注意问题今天使用scrapy 的中间件对request 进行封装！测试开始是一个网页，完美通过，然后准备大量爬！结果出来bug ，先上代码，或者其他大佬有更好的解决方法！！！！！有的请留言让我学习一下！关于这个scrapy框架以后会上博客写使用详情！ ##小项目是这样写： import scrapy from ..items import YDo...

Scrapy框架

灯火阑珊处

02-21

273

Scrapy框架 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 Scrapy...

scrapy爬虫的一些小问题

wzsyf的博客

06-06

164

1、在进行多级页面递进爬取时，可以在settings.py中设置DEPTH_LIMIT = 100，后边的数值是可允许的请求深度，0为不受限制。 2、在使用scrapy进行延时下载时，可以在settings.py中设置DOWNLOAD_DELAY = 2，后边的数值是延时时间。 ...

Scrapy 简单爬虫中遇到的问题总结

WwwRuiOP的博客

10-31

981

Scrapy 简单爬虫中遇到的问题总结在进行item传参时总是出现重复数据在Scrapy数据爬取中发现通过以下语句传递的参数会出现重复现象，导致爬取的数据出现重复和错乱的现象。 yield scrapy.Request(item['url'], meta={'meta_1': item}, callback=self.detail_parse) 为了解决以上问题，找到【scrapy】item...

Scrapy的指纹去重原理

愤怒的小兵

04-04

1258

指纹去重算法代码在scrapy.utils.request def request_fingerprint(request, include_headers=None): if include_headers: include_headers = tuple(to_bytes(h.lower()) for h...

scrapy遇到的常见错误

何必说

08-01

1129

(1)Unknown command: crawl 原因：没有cd到项目根目录，因为crawl会去搜搜cmd目录下的scrapy.cfg，找不到就会报错（2）ModuleNotFoundError: No module named 'JobSpider.settings' 原因：从spiders没有自动生成爬虫文件，我这里是从外面拖进去的，最初生错了位置，最有力的解决方式就是删除项目...

Python爬虫框架Scrapy学习三记—让虫子爬

Lockey23的博客

09-03

3021

Python爬虫框架Scrapy，创建一个Scrapy项目，编写爬取网站的 spider 并提取 Item，编写 Item Pipeline 来存储提取到的Item

Python Scrapy 爬虫踩过的坑（一）

baidu_41687897的博客

03-30

9284

一、DEBUG Crawled 200 ，具体报错信息如下图所示：爬虫初学者，记录自己曾爬过的坑。 1. 200为HTTP 状态码，代表访问OK。 2. 但是设置的正则的返回的爬取信息为[] 3. 主要出错原因，爬取的为分类下的数据信息，start_urls = [ ] 为设置爬虫文件时域名所对应的网址。需要修改为分类下的网站。才能爬取数据成功。 https://stac...

Scrapy框架实现爬虫与MongoDB数据保存

通过Scrapy基本功能测试项目的实施，可以深入掌握Scrapy框架的使用，理解爬虫从创建、运行到数据提取与保存的完整流程，学会如何对爬虫项目进行调试、优化和部署，从而为后续更复杂的网络爬取任务打下坚实的基础。