Python Scrapy 自动爬虫注意细节(2)

本文介绍了使用Scrapy创建自动爬虫的过程,包括模版指定、配置与组件执行顺序、页面过滤规则及如何指定起始页等内容。适用于希望快速上手Scrapy进行网页抓取的开发者。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、自动爬虫的创建,需要指定模版

如:

 scrapy genspider -t crawl stockinfo quote.eastmoney.com

crawl : 爬虫模版

stockinfo :爬虫名称,后续敲命令执行爬虫需要输入的

quote.eastmoney.com :起始网址

通过 scrapy genspider -l 查看可用模版

 

二、settings、items、pipeline、spider的执行顺序

 settings--->items---->spider<---->pipeline,即第一次从settings读取爬虫配置,创建需要处理的数据项,根据starturl来启动爬虫,爬取到数据后,发送给管道处理数据(或放到文件中、或存到数据库)

 

 

 

三、页面过滤规则

这一步错误,很容易漏掉网址,通过在parse_item函数中输出response.url跟踪是否有遗漏的网页

如:print(response.url)

四、指定起始页

1、starts_urls数据

2、start_requests函数

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值