如何在scrapy框架里进行调试嘞

最新推荐文章于 2024-09-29 16:00:45 发布
原创 最新推荐文章于 2024-09-29 16:00:45 发布 · 875 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python #爬虫

在遇到Scrapy爬虫无输出且不报错的情况时，可以通过在scrapy.cfg同级目录创建main.py文件进行调试。在main.py中调用scrapy的cmdline.execute方法启动爬虫，并在爬虫文件中设置断点。通过调试main.py来检查爬虫的运行状态，这有助于定位和解决问题。

今天在使用scrapy框架写爬虫代码时，运行爬虫文件后既不输出内容也不报错，然后就试着调试一下：
scrapy.cfg的同级目录下创建main.py，里面写如下代码

#调试
from scrapy import cmdline
cmdline.execute('scrapy crawl foodKnowledge'.split())
#foodKnowledge代表爬虫文件名

在爬虫文件你想调试的地方打上断点，回到main.py文件，右键点击调试，则可以了

Python Scrapy：使用Scrapy Shell进行调试
Python编程之道的博客
04-25 1163
在网页抓取的过程中，我们常常会遇到各种问题，如无法正确提取数据、请求失败等。Scrapy Shell作为Scrapy框架提供的一个交互式调试工具，能够帮助开发者在不运行整个爬虫项目的情况下，快速测试和验证网页数据的提取逻辑、请求的正确性等。本文的目的就是详细介绍如何使用Scrapy Shell进行调试，范围涵盖Scrapy Shell的基本概念、使用方法、实际应用以及相关资源推荐等方面。本文将按照以下结构展开：首先介绍Scrapy Shell的核心概念与联系，包括其工作原理和架构；
Scrapy框架——初认识
最新发布
m0_74653634的博客
05-13 1626
Scrapy是一个高效的Python爬虫框架，旨在简化网站数据的抓取和结构化提取。它基于Twisted异步网络框架，能够显著提升爬虫的下载速度。Scrapy的核心组件包括引擎、调度器、下载器、爬虫和管道，这些组件通过引擎进行数据传递和协调。Scrapy的工作流程包括请求的调度、下载、数据处理和存储，开发者只需实现少量代码即可快速抓取数据。Scrapy的安装可以通过pip命令完成，创建项目后，开发者可以通过命令行生成爬虫并完善其逻辑，使用XPath等方法提取数据，并通过管道进行数据存储。Scrapy的异步和非
scrapy框架的调试
学习python
09-11 758
我们知道在处理bug的时候，debug功能给我们带来了很多的方便和便利，我们可能已经习惯在遇到问题的时候加上断点进行调试，但是最近在用scrapy框架，关于框架的调试，不知道你了解多少，这里介绍一种调试的方法。 首先，在如下图所示的目录下创建一个文件，我取名是debug，你也可以自己根据情况命名，然后在文件中写上如下代码 为了避免代码书写的不必要错误，代码也粘贴如下： from scr...
Scrapy 调试代码
chongaishi2879的博客
04-09 204
取自 Scrapy终端(Scrapy shell) #判断 url是否是想要的 defparse(self,response): if".org"inresponse.url: fromscrapy.shellimportinspect_respo...
scrapy框架开发爬虫实战——如何调试项目
万锦
10-10 376
原文链接：https://www.cnblogs.com/lsdb/p/9122970.html 1、复制cmdline.py到项目主目录 查找cmdline.py文件， 复制cmdline文件到项目主目录， 2、编缉文件调试运行配置 Name--和上边创建的spider文件相同，我这里叫quotes_spider Script path--选择当前项目下的cm...
二.scrapy框架调试
lizhongxin541的博客
09-22 401
１．在爬虫所在项目中,增加 main.py文件 from scrapy.cmdline import execute import sys import os sys.path.append(os.path.dirname(os.path.abspath(__file__))) execute(['scrapy', 'crawl', 'j...
scrapy框架非命令行调试主程序run.py
09-09
vscode下的非命令行调试scrapy框架下的代码的主程序run.py
python Scrapy 框架 demo
杨杨杨~~的博客
09-29 1768
如果您觉得有用的话，记得给，写作不易啊^ _ ^。而且听说，实在白嫖的话，那欢迎常来啊!!!
scrapy 调试
wahaha
08-06 364
def parse( self, response): papers = response. xpath(".// *[@class=' day']") from scrapy. shell import inspect_ response inspect_ response( response, self) for paper in papers:...
scrapy调试
weixin_41449756的博客
05-25 1106
1、scrapy shell是scrapy提供的一个终端工具，能够通过它查看scrapy中对象的属性和方法，以及测试xpath 使用方法： scrapy shell http://www.itcast.cn/channel/teacher.shtml 在终端输入上述命令后，能够进入python的交互式终端，此时可以使用： response.xpath()：直接测试xpath规则是否正确...
scrapy怎么debug断点调试
huangwencai123的博客
05-06 6971
scrapy怎么debug断点调试 1、 在项目的文件夹下增加一个文件main.py（scrapy.cfg同等级中） main.py文件 from scrapy.cmdline import execute import os import sys if __name__ == '__main__': sys.path.append(os.path.dirname(os.path.abs...
Scrapy1.3.3 爬虫代码断点调试
weixin_33681778的博客
03-23 271
2019独角兽企业重金招聘Python工程师标准>>> ...
Pycharm中对scrapy爬虫工程开启调试模式（亲测有效）
小仙女说：但行好事，不问前程
12-15 850
1、首先通过命令行创建scrapy爬虫项目，添加爬虫文件。然后在scrapy.cfg同级目录下创建一个调试程序， 结构如下： 在main.py文件中输入引入scrapy.cmdline进行在scrapy中执行类cmd命令 from scrapy.cmdline import execute execute(['scrapy', 'crawl', 'jobbole']) 之后我们在...
scrapy 调试功能
weixin_33866037的博客
05-22 155
　　在使用 scrapy 来爬取网页的时候，我们难免会使用到调试功能，下面介绍两种调试方法： 1.终端使用 scrapy shell exampleurl exampleurl 为你要爬取网站的 url 。 开启调试界面后终端显示如下（类似 IPython）： 接下来就可以在命令行中输入各种方法来获取网页内容查看实时效果了。如通过 response...
scrapy中如何debug
kingUROOT的博客
12-13 685
1.在项目启动目录下建立一个py文件 # -*- coding: utf-8 -*- import sys import os # __file__ :当前文件夹 # os.path.abspath: 文件的绝对路径 # os.path.dirname: 文件的上一级 # sys.path.append 插入到环境变量 from ...
scrapy框架如何进行debug调试
feiyu68的博客
05-25 1870
与settings.py同级新建一个run.py文件 from scrapy import cmdline cmdline.execute(['scrapy','crawl','images']) 打好断点后调试 debug run.py 这个文件
Scrapy shell debug 调试
迷途无归的博客
06-20 667
1、命令行 scrapy shell <url> scrapy shell https://scrapy.org 然后进入到调试模式，输入代码在线查看 [s] Available Scrapy objects: [s] scrapy scrapy module (contains scrapy.Request, scrapy.Selector, etc) [s] cr...
Scrapy爬虫调试
Kwoky的博客
06-12 2816
1、创建run.py文件，和setting.py同级目录2、添加代码：from scrapy import cmdlinename = 'pythonPosition'cmd = 'scrapy crawl {0}'.format(name)cmdline.execute(cmd.split())其中name参数为spider的name。3、接着在spider文件中设置断点。4、run.py文件中...
Anaconda一键安装scrapy框架教程
"这篇文章主要介绍了如何利用Anaconda轻松...利用Anaconda安装Scrapy框架可以简化安装流程，并方便地在PyCharm中配置项目环境，为开发者提供了便利。同时，对于环境管理和库的依赖，Anaconda也提供了有效的解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值