前嗅ForeSpider教程:同一个网站中从另一页面采集数据

本文详细介绍了一种从同一网站不同页面高效采集数据的方法。通过建立多个模板,使用链接抽取和数据抽取技术,实现了对目标网站企业动态、联系方式等信息的全面抓取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

大家在采集过程中有可能需要同时采集同一个网站不同页面的信息,今天小编为大家介绍一下从同一个网站另一个页面采集数据的具体操作流程。

第一步:新建任务
①点击左上角“加号”新建任务,如图1:

图片描述

②在弹窗里填写采集地址,任务名称,如图2:

图片描述

③点击下一步,选择进行数据抽取还是链接抽取,本次采集企业最新动态链接列表,所以点击抽取链接,选择链接列表,如图3:

图片描述

④完成之后,在模板抽取配置下生成两个模板,默认模板:01和链接列表:02。模板1中的“链接列表”链接抽取已与模板2关联,如图4。如果配置的时候发现关联有问题,可以自己进行更改。

图片描述

第二步:使用定位过滤,得到列表链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图5:

图片描述

③点击采集预览,确认链接抽取是否正确,如图6:

图片描述

第三步:在模板2添加示例地址,并添加链接抽取
①将模板1过滤得到的任意一条链接,作为模板2的示例地址。如:http://blog.11467.com/b427516...,如图7:

图片描述

②新建链接抽取。直接点击模板2,点击上面“新建链接抽取”按钮,得到链接抽取,如图8。

图片描述

③关联模板
在软件中模板的关联关系,与网页中链接跳转的关系相同。
根据网页跳转规律,模板1中的“链接列表”链接抽取已与模板2关联。如果配置的时候发现关联有问题,可以自己进行更改。

第四步:使用定位过滤,得到列表链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图9:

图片描述

③右击模板预览,查看链接抽取结果,如图10所示:

图片描述

④确认链接抽取是否正确,如图11:

图片描述

第五步:新建模板3添加示例地址,并添加链接抽取
①新建模板3,将模板2过滤得到的链接,作为模板3的示例地址。如:http://93358999.b2b.11467.com,如图12:

图片描述

②新建链接抽取。直接点击模板3,点击上面“新建链接抽取”按钮,得到链接抽取,如图13。

图片描述

③关联链接列表的“新建链接抽取”。
根据网页跳转规律,将模板2链接列表的“新建链接抽取”关联模板3。如果配置的时候发现关联有问题,可以自己进行更改,如图14:

图片描述

第六步:使用定位过滤,得到导航列表的链接
①按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
②点击确认选区,如图15:

图片描述

③右击模板预览,查看链接抽取结果,如图16所示:

图片描述

④确认链接抽取是否正确,如图17:

图片描述

⑤使用标题过滤,得到“联系我们”的链接,如图18所示:

图片描述

第七步:新建模板4添加示例地址,并添加链接抽取
①新建模板4,将模板3过滤得到的“联系我们”链接,作为模板4的示例地址。如:http://tianjin0311065.11467.c...,如图19:

图片描述

②新建数据抽取。直接点击模板3,点击上面“新建数据抽取”按钮,得到数据抽取,如图20。

图片描述

③关联模板3的“新建链接抽取”。
根据网页跳转规律,将模板3的“新建链接抽取”关联模板4。如果配置的时候发现关联有问题,可以自己进行更改,如图21:

图片描述

第八步:创建/选择表单
在ForeSpider爬虫中,表单是可以复用的,所以可以在数据表单出直接选择之前建过的表单,也可以通过表单ID来进行查找并关联数据表单。此处使用的是方法三。
方法一:通过下拉菜单或表单ID选择已有表单
方法二:点击创建表单进入快速建表页面,新建表单,如图22所示。

图片描述

方法三:点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图23:

图片描述

第九步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了包括网页主键、联系人、电话、地址以及公司介绍五个字段。其中,公司介绍字段intro_text的取值在同一网站的不同页面,需要用到脚本取值,配置类型时需要选择高级取值>模板取值,表单如图24:

图片描述

第十步:字段取值
①关联表单,如图25所示:

图片描述

②取值方法:按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域。
person、tel、addr字段,如图26:

图片描述

③intro_text字段需要进行模板取值。

第十一步:创建新的模板,添加示例地址
①表单intro_text字段来自公司介绍,如图27所示。

图片描述

图中红框部分为取值内容,如图28所示:

图片描述

②新建模板,添加“公司介绍”链接为示例地址,如:http://93358999.b2b.11467.com...(模板3右击模板预览,选择全部链接),如图29所示:

图片描述

③直接点击模板5,点击上面“新建数据抽取”按钮,得到数据抽取,如图30:

图片描述

第十二步:创建/选择表单
点击“采集配置”-“数据建表”,点击采“采集表单”后面的,如图31:

图片描述

第十三步:配置表单
根据所需内容,配置表单字段(即表头),此处配置了“公司介绍”字段intro_text表单如图32:

图片描述

第十四步:关联表单,完成“公司介绍”字段抽取
①点击模板5,关联表单,如图33所示:

图片描述

②使用字段定位取值方法。
按住Ctrl+鼠标左键,进行区域选择,按住Shift+鼠标左键,扩大选择区域,确认选区,如图34所示。

图片描述

③右击模板预览,如图35所示:

图片描述

④模板预览结果,如图36所示:

图片描述

第十五步:模板取值关联
①点击模板4,点击intro_text字段,在红框中填入“href=[5]”,并按住Ctrl+鼠标左键,进行区域选择,如图37所示。
“[ ]”中填写模板ID。

图片描述

②点击模板4,右击模板预览,如图38所示:

图片描述

③预览结果如图39所示:

图片描述

第十六步:采集预览
①点击右上角采集预览,如图40:

图片描述

②双击任意一条链接,看看是否可以得到和网页对应的规整的数据,如图41、42、43所示。

图片描述

图片描述

图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值