python scrapy报错

最新推荐文章于 2023-09-22 17:21:36 发布
原创 最新推荐文章于 2023-09-22 17:21:36 发布 · 1.3k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#scrapy #python

本文介绍了一种常见的Scrapy爬虫启动错误——找不到指定爬虫的情况，并提供了解决方案。通过重新生成爬虫脚本来修复问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在使用python处理scrapy按照通常的步骤

1、scrapy startproject yourprojectname

2、配置item.py

3、编写spider脚本以及其他配置文件

4、scrapy crawl name(spider文件name的值)

在执行完第四步后，有时候会报如下错误：

KeyError: 'Spider not found: dmoz'

解决方案是，先执行下面的脚本再执行爬虫的脚本

scrapy genspider tencentPostion tencentPostion.org



scrapy genspider basic baidu ModuleNotFoundError: No module named 'urlparse'
04-24 644
Traceback (most recent call last): File "c:\python37\lib\runpy.py", line 193, in _run_module_as_main "__main__", mod_spec) File "c:\python37\lib\runpy.py", line 85, in _run_code exec(code...
2024年python安装scrapy运行测试代码出现LookupError: unknown encoding: ‘b‘utf8‘‘的解决办法
最新发布
HG0724的博客
08-08 1959
LookupError: unknown encoding: 'b'utf8'' 出错的解决办法
python安装scrapy报错
gznc_pcc的博客
05-22 1074
报错信息： running build_ext building 'twisted.test.raiser' extension error: Unable to find vcvarsall.bat 解决方法： 报错是因为缺少编译环境相关的插件，我们需要先安装Twisted 点这里下载 下载完成后找到下载的路径，在cmd中输入pip install 路径+文件名 我这里的是：`C...
python3.6使用scrapy报错
10-16 182
　　用python做爬虫的，肯定熟悉scrapy,不过新手安装总是会遇到各种奇葩错误。 错误一：building 'twisted.test.raiser' extensionerror: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landi...
python老是报错_python 中的scrapy 框架总是报错？
weixin_39850981的博客
12-18 272
#!/usr/bin env python3import scrapy, jsonclass jingzhunspider(scrapy.Spider):name = "jingzhun"allowed_domains = []start_urls = ['https://rong.36kr.com/']def __init__(self):self.headers={"Referer":"htt...
Python第三方包scrapy报错可能解决办法
SunChao3555的博客
01-22 712
在windows下，在cmd中运行pip install scrapy报错： 解决方案 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件（如我的Twisted‑17.9.0‑cp35‑cp35m‑win_amd64.whl），cp后面是python版本，amd64代表64位，运行命令：
python3 安装scrapy报错的解决方法
10-05
以下将详细介绍两种解决Python3环境下安装Scrapy报错的方法。 **方法一：手动下载与安装** 当使用`pip install scrapy`命令时，如果遇到依赖库不兼容或缺失的问题，可以采取手动下载和安装的方式。首先，你需要...
Python爬虫：Scrapy报错：ModuleNotFoundError: No module named ‘scrapy.contrib‘
Yummy的博客
10-19 2034
项目场景： 今天，又开始自学Python爬虫Scrapy框架辽，爬爬爬于是又导包报错辽，，， 问题描述： 提示：第一行导入scrapy.contrib时报错了。 原因分析： 百度：找到类似的问题和解决方式： # bug： from scrapytest.NewsItems import NewsItem # 改为 # debug：from scrapytest.scrapytest.items import NewsItem 思考：重新导入 提示：导入时自动显示.scrap..
python3.7 scrapy 报错 KeyError: ‘Spider not found: baidu‘
qq_38192709的博客
08-01 2905
它没有找到 名叫 baidu 的爬虫，所以我根据提示一步一步让它跑起来了 先安装了 scrapy 再创建了 scrapy01 项目 scrapy startproject scrapy01 然后我根据提示，到了 scrapy01 这个页面， scrapy genspider example example.com 再修改了 example.py： 就有了下面的运行日志，不过并没有 “百度知道” 这些字样… … 于是，就把 settings.py 里面的 ROBOTSTXT_OBEY = True 改成了
解决Scrapy报错: Unknown Command ‘crawl‘
MONKEYMONEY_的博客
12-05 4834
解决Scrapy报错: Unknown Command 'crawl'问题描述：报错：原因分析：解决方案： 问题描述： 编写好的项目(douban)在终端cmd运行 scrapy crawl douban可以运行。但通过vs code创建main.py却无法运行，出现报错’unknow command: crawl’ 。 报错： 在vs code中创建main.py运行douban from scrapy import cmdline cmdline.execute(['scrapy','crawl'
解决Python 3.8安装Scrapy报错的Twisted文件指南
自Python 3.8开始，若直接安装Scrapy可能会遇到因为缺少必要依赖Twisted而导致的报错。Twisted框架在新版本的Python中可能没有被预装，这可能导致Scrapy在安装过程中或者运行时出现错误。因此，开发者在使用Python ...
关于python安装scrapy报错的解决办法
I_am_sold_out的博客
02-15 564
关于python安装scrapy报错的解决办法 报错内容 看了课程上的直接在终端输入pip install scrapy，结果出错了，报错如下（截取了最后一部分）： 问题原因 Scrapy框架基于Twisted，因为我没有安装Twisted，所以Scrapy安装失败。于是我就在网上下载对应的whl包。 解决办法 由于用python下载会有很大的延时，一个几M的包都安装不了，于是我直接在网上先把这两个包下载了，网页：https://www.lfd.uci.edu/~gohlke/pythonlibs/。如果找
Windows安装Python组件Scrapy报错的解决方案
天灵狐的小岛
04-26 3074
报错： error: Unable to find vcvarsall.bat 解决方案： 手动安装twisted插件： 1.在http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted用Ctrl+F搜索twisted，下载对应版本。 我是Python3.5,64位，即下载 2.用pip安装wheel（whl安装依赖） 用命令
KeyError: 'Spider not found:name一样，为何还是找不到spider 多种解决方案，总有一个适合你！
热门推荐
weixin_41931602的博客
08-17 2万+
第一种：运行的main文件中的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可 第二种：爬虫文件夹中缺少__init__文件，一开始是直接在spider文件夹下创建的爬虫文件，然后把多个爬虫文件放进stt的文件夹中，运行main文件就不行了，原因就是在粘贴复制时漏了__init__文件。 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。 3第三种...
python keyerror5种方法_Python Scrapy-----KeyError: Spider not found 5种出错的情况
weixin_39799646的博客
12-23 1132
KeyError: 'Spider not found:name一样，为何还是找不到spider 呢。 往下看看，总有一个是你要的答案。第一种(最简单的错误)：运行的爬虫名字与爬虫文件中的name不相同 解决方案：令两者名字相同即可。当然90%的人不会是这个原因。第二种：丢失init 解决方案：注意创建爬虫文件时的__init__文件不要丢失了。第三种：没有把爬虫文件放入spiders文件夹中，导...
总结 运行Scrapy项目结果出错：KeyError: ‘Spider not found:
qq_27567543的博客
05-27 7675
1.命令行窗口的当前路径不在scrapy工程目录中，需要先进入scrapy工程目录，不一定要工程根目录，下一级子目录也可以 2.执行命令"scrapy crawl fileName"时，不要加.py后缀(本人就是加了后缀，一直错误) 正确：scrapy crawl fileName 错误：scrapy crawl fileName .py 、、、、、、、、、、、、、、、、、、、、、、、、、、、、、...
pycharm中打开scrapy项目，import scrapy报错问题
tangtang1226的博客
04-13 6239
    因为手头的Python项目有2.7，有3.6的，所以用scrapy时，我想根据python3.6单独做一个虚拟的环境，因此就使用了如下指令：virturalenv  scrapyPython3.6  (g:\scrapyPython3.6)之后创建了我的scrapy项目    g:\scrapyDemo但是安装scrapy时，我是在全局安装，也就是会默认的安装在Python36的安装路径下...
运行Scrapy项目结果出错：KeyError: ‘Spider not found:
Hello Word!
08-01 9794
http://www.crifan.com/python_run_scrapy_keyerror_spider_not_found/#606291-tsina-1-75101-bed29bf34a05d6df372b0aeff0a5121a 【总结】 在运行Scrapy项目时，不是： scrapy crawl 文件夹名字 -o respBody -t json
关于Python安装Scrapy库的常见报错解决
Welcome To Myon'Blog !
09-22 3978
1、关于pip3命令的报错 2、执行scrapy报错（Python3下的OpenSSL模块出错） 3、卸载pyopenssl时报错
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wshzd

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值