一、基本概念
1.1,数据采集
数据采集指的是我们在“创建规则”工作台定义的抓取内容。


1.2,爬虫路线
爬虫路线指的是在“爬虫路线”工作台定义的线索,包括下级线索、翻页线索和一次性的模拟点击等。

1.3,连续动作
连续动作指的是在“连续动作”工作台定义的线索,包括悬浮、点击、滚屏、选择等多种动作类型。

二、执行顺序
总体上,爬虫先进行数据采集,再执行爬虫路线或连续动作。如果一个规则里既有连续动作又有爬虫路线,那么爬虫会先执行连续动作再执行爬虫路线。
2.1,数据采集+爬虫路线(下级线索)
同一个规则的数据采集和爬虫路线的下级线索没有先后之分,下级线索只是在数据采集过程中把当前页面的链接保存起来,并生成线索给第二级规则。
2.2,数据采集+爬虫路线(翻页线索/模拟点击)
DS打数机会先进行数据采集,再执行爬虫路线的翻页线索或模拟点
Python爬虫:数据采集、路线执行与连续动作解析

本文介绍了Python爬虫中数据采集、爬虫路线和连续动作的基本概念及其执行顺序。数据采集定义抓取内容,爬虫路线包括下级线索等,连续动作涵盖多种动作类型。执行顺序通常为:数据采集 -> 连续动作 -> 爬虫路线。当规则同时包含连续动作和翻页线索时,DS会先采集数据,执行连续动作,然后执行翻页线索。对于连续动作内部,步骤按定义顺序执行,可通过排序窗口调整步骤顺序。
最低0.47元/天 解锁文章
1381

被折叠的 条评论
为什么被折叠?



