接上一篇文章利用R语言爬取单个商品的商品id,品牌,价格等属性,这篇综合运用一下,爬取当当网数码笔记本整个类目下的所有商品,代码尽量少用for循环,而使用apply族函数比较高效哦,好了,代码如下:
本文章的例子仅用于学习之用,如涉及版权隐私信息,请联系本人删除,谢谢
# install.packages("rvest")
library(rvest)
# 第一步
# 这里先自定义两个函数
# 第1个:自定义读取单个商品url地址函数
read.url<-function(category){
# 解析网页
webs<-read_html(category,encoding = "gbk")
urls<-webs %>%
html_nodes("div.con.shoplist") %>%
html_nodes("ul") %>%
html_nodes("li") %>%
html_nodes("a.pic"