webscraper 爬取二级网页_web scraper——简单的爬取数据【二】

在上文中我们已经安装好了web scraper现在我们来进行简单的爬取，就来爬取百度的实时热点吧。

文本太长,大部分是图片,所以上下操作视频吧,视频爬取的是昵称不是百度热点数据

爬取步骤

创建站点

打开百度热点，ctrl+shit+i进入检测工具,打开web scraper创建站点

进入 创建站点页面 站点名称和爬取地址点击创建站点即可

如果要爬取分页数据那就将参数写成范围的如:

想要爬取微博某博主关注列表的1-5页的粉丝信息,通过url的跳转发现微博关注列表和数字有关

https://weibo.com/p/1003061752021340/follow?relate=fans&page=

所以只要把写成一个范围的即可

https://weibo.com/p/1006051234552257/follow?relate=fans&page=[1-5]

爬取数据

首先创建一个element的select

创建element信息

select选择最外层的盒子,确认无误后点击Done selecting!

然后回到web scraper控制台,查看信息无误后勾选multiple确认无误后,创建element的select

爬取自己想要的信息,点击进入hotList里面,然后继续创建select选择