Scrapy框架使用过程中可能出现的问题（更新ing）

最新推荐文章于 2021-11-18 14:23:23 发布
最新推荐文章于 2021-11-18 14:23:23 发布
阅读量1.1k 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Python 文章标签： python scrapy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_28301007/article/details/79071528
本文介绍Scrapy爬虫项目的配置方法，包括如何正确设置scrapy.cfg文件及解决crawl命令未找到的问题。同时，针对pywin32版本不匹配导致的错误给出了解决方案。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. 在cmd中输入Scrapy crawl mySpider，出现错误提示：
    Scrapy 1.3.0 - no active project
    Unknown command: crawl
    Use “scrapy” to see available commands
    根据scrapy官方文档中的解释，crawl会去搜索cmd目录下的scrapy.cfg，当前crawl的目录中没有scrapy.cfg
    scrapy在使用命令startproject的时候会自动创建scrapy.cfg，如果没有的话则需要自己主动创建：
[settings]
default = 你的项目名.settings
[deploy]
\#url = http://localhost:6800
project = 你的项目名
  1. unhandled error in deferred
    这是pywin32版本不对造成的（位数），比如我之前不是在官网下载的python3.6，上面没有标注32位或64.32均可用的版本，以直没发现是32bit的。这样就造成一些不必要的错误。
    解决方法：
    去官方下载pywin32对应于你自己安装的Python2.x，Python3.x，64/32的版本，然后将scrapy卸载之后，重新安装正确的版本
Python常用第三方库汇总（持续更新...）
Code_流苏：在代码中寻诗意，在实践中觅真知
06-23 642
Python常用的第三方库汇总整理版
Scrapy问题
Dream Talk的专栏
01-24 385
1. rules规则 start_urls = ['　'] rules = [Rule(SgmlLinkExtractor(allow=[r'　']), callback='　', follow=True)] 　其中callback一般不使用parse，因为parse是默认的，如果用parse的话，会导致重写． 　rules规则是指在start_urls下所有的链接中符合allow规则的，进
scrapy常见问题
王轩的博客
03-05 509
文章目录scrapy常见问题dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求scrapy如何使用多个items模型类 scrapy常见问题 dont_filter:默认为False，会过滤请求的url地址，即请求过的url地址不会继续被请求 scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False]) dont_filter:默认为Fals
使用Scrapy遇到的问题
梦想是很难很难的，所以先勇敢一点
02-18 3127
twisted.internet.error.TimeoutError 请求超时 在使用 scapy 进行大批量爬取的时候，少数请求链接会出现请求超时，当出现请求超时时，爬虫会自动重试三次。 可以 通过 设置 RETRY_ENABLED = False 来关闭重试机制 若超过 180s 且三次后且还是没有得到数据，就会出现 twisted.internet.error.TimeoutError 错误。 超时时间可以通过DOWNLOAD_TIMEOUT设置 解决办法 降低同时请求的数量 CONCURRE
scrapy常见问题与解决方案
黄油猫
02-26 1508
1.输出不正确、改代码结果不变？其实是因为反复使用命令scrapy crawl spider -o 1.json时候，增加的输出数据不会覆盖，而是继续往后面添加。2.request不执行Request(url,meta={'item':item},callback=self.parse2, dont_filter=True)dont_filter=True让allowed_domains失效了。但...
解决初次使用Scrapy的问题
04-30 320
1、安装Scrapy 使用命令 pip install scrapy 安装。安装过程中出现以下错误： 解决办法： http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载对应的twisted版本。cp后面表示的是python版本，amd64代表64位 使用命令 pip installC:\Users\Administra...
Scrapy框架安装难点解决技巧
诚长ing的博客
05-06 654
Scrapy是一个十分强大的爬虫框架，依赖的库比较多，至少需要依赖的库有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平台下，它所依赖的库有所不同，所以在安装的时候，最好确保把一些基本库都安装好。 相关连接： 官方网站:https://scrapy.org 官方文档：https://do...
python爬取链家网实例——scrapy框架爬取-链家网的租房信息
诚长ing的博客
06-29 4431
说明： 本文适合scrapy框架的入门学习。 一、认识scrapy框架 开发python爬虫有很多种方式，从程序的复杂程度的角度来说，可以分为：爬虫项目和爬虫文件。 scrapy更适合做爬虫项目，urllib库、requests库更适合写爬虫文件（做项目时，效率不是太好，并且稳定性也不是太好）。 如图：这是scrapy框架的流程图。 Spiders(爬虫):它负责处理所有...
基于Scrapy框架的python网络爬虫（1）
lucky_yang_的博客
07-08 4476
1、搭建环境这里我使用的是anaconda，anaconda里面集成了很多关于python科学计算的第三方库，主要是安装方便，anaconda中自带Spyder。 这里下载anaconda 比较推荐使用Python2.7 在anaconda下安装Scrapy也很简单！CMD进入命令行，直接输入conda install scrapy，然后点“y”,很简单就可以安装成功。 这样就搭建好了环境。
美食数据爬取及预处理 scrapy
最新发布
05-31
### 使用Scrapy爬取美食数据并进行预处理 Scrapy 是一个强大的 Python 框架，用于从网站上提取结构化数据。以下是如何使用 Scrapy 爬取美食数据并进行预处理的详细方法。 #### 1. 安装 Scrapy 首先需要确保安装了 ...
准备写个脚本定时运行scrapy，但是写完之后scrapy无法运行，启动后无任何相应
weixin_43857152的博客
01-05 1095
写的脚本 import os os.system("scrapy crawl touchuang") 运行脚本时，出现类似这样的错误 :0: UserWarning: You do not have a working installation of the service_identity module: 'cannot import name 'opentype''. Please ins...
scrapy使用总结
u011747443的专栏
03-21 1214
scrapy介绍 系统架构 中间件 pipeline 一些核心的类 更高级的话题 使用举例 安装问题
scrapy 批量插入更新mysql, kafka模版
天空晴朗☀心情很蓝
12-03 662
Pipeline中写通用方法，模版在下方： def get_kafka_client(): client = KafkaClient(hosts=','.join(KAFKA_HOSTS), broker_version="1.1.0") return client def get_connect(): connect = pymysql.Connect( ...
scrapy中pipeline数据去重和更新
weixin_38924500的博客
12-27 930
class NewsEducationPipeline(object): def __init__(self): self.connect = pymysql.connect( host=settings.MYSQL_HOST, db=settings.MYSQL_DBNAME, user=setti...
【Scrapy】使用Scrapy框架遇到的坑
gz-郭小敏的博客
04-03 391
碍于我英文实在是烂，然后我学习新技术我一般优先找中文文档，而在网上的Scrapy框架的中文档好像都已经有点历史了，各种运行不上，然后好不容易找到相对较新的：http://www.scrapyd.cn/doc/ 下面则是我按着文档上教程遇到的坑： 1.执行的是文件中的方法，方法的name为mingyan2，所以要到这个文件的文件目录中去使用 2. 报错：ModuleNotFoundE...
scrapy官方文档提供的常见使用问题
python之战
03-22 370
Scrapy与BeautifulSoup或lxml相比如何？ BeautifulSoup和lxml是用于解析HTML和XML的库。Scrapy是一个用于编写Web爬虫的应用程序框架，可以抓取网站并从中提取数据。 Scrapy提供了一种用于提取数据的内置机制（称为 选择器），但如果您觉得使用它们感觉更舒服，则可以轻松使用BeautifulSoup （或lxml）。毕竟，他们只是解析可以从任何Py...
Unknown command: crawl（爬虫框架Scrapy遇到的常见错误）
热门推荐
System.out.println(“菜鸟的升级之路”）
03-03 2万+
前言序锦 今天在用scrapy框架运行多爬虫的时候，遇到了一个比较棘手的问题，刚开始进行了各种尝试，却还是不行，最后终于还是找到了原因！ 正文 当我们在cmd中或者PyCharm中使用Terminal输入scrapy crawl lieping（lieping是我项目里的爬虫的名字，name = “lieping”，爬取猎聘网的职位信息），总会报如下的错误： E:\Study...
python爬取拉勾网公司信息（您操作太频繁，请稍后访问）
fwpevil的博客
06-05 3989
最近爬取拉勾网上的公司信息碰到了很多问题，但是都一一解决了。作为一个招聘网站，他的反爬措施做的还是很好的。 为了调查招聘网站上有多少公司，以及公司信息，并把公司信息存入MongoDB数据库中。 先上运行成功代码： import requests import json,time,random import pymongo from lxml import etree #导入需要用到...
win10如何解决scrapy不是内部或外部命令，也不是可运行的程序
lvcal_sunday的博客
11-18 1565
安装scrapy成功后在cmd下输入scrapy指令时，如果报如题的错，可能是因为环境变量未配置，但为了便于观察，可以通过卸载重新安装来复现明文报错信息。 1.cmd命令下输入：pip uninstall scrapy卸载 2.弹出proceed(y/n)?输入y回车 卸载成功会出现successfully uninstall scrapy-2.51。 3.重新安装pip install scrapy，安装结束时会有黄字提醒。 WARNING: The script scrapy.exe is instal
Python Scrapy框架：安装与基础使用教程
访问提供的链接，根据Python的版本（如Python2.7或Python3.6）和操作系统位数（如32位或64位）选择对应的Whl文件下载，然后在终端中使用`pip`安装下载的Whl文件，之后再安装Scrapy。 安装完成后，可以通过在终端...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值