通过cheerio和superagent爬取(获取)电商网站的商品数据(附加案例)
HTTP爬虫 (Request)
要获取电商网站商品详情数据的方式有两种写法:
首先:
1、选定想要爬取的网站地址(https://www.*****.com/)
2、获取想要爬取数据的容器名称
3、下载cheerio
- 可以通过yarn add cheerio 或者 npm i cheerio
1、通过使用superagent 和 cheerio
1. 下载两个包并导入
2.
2-1. 使用 superagent 去访问你要爬取的页面
=> end() 方法就是访问地址结束的回调函
原创
2020-09-10 23:04:56 ·
784 阅读 ·
4 评论