R语言rvest包4步爬取当当网某一商品类目下的所有商品属性信息

最新推荐文章于 2024-03-25 09:57:14 发布

原创

最新推荐文章于 2024-03-25 09:57:14 发布 · 2.3k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#r语言 #rvest包 #R语言网络爬虫

本文介绍了如何利用R语言的rvest包，通过四步操作来抓取当当网上特定商品类目下的所有商品详细属性信息，包括商品名称、价格、评价等关键数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

接上一篇文章利用R语言爬取单个商品的商品id，品牌，价格等属性，这篇综合运用一下，爬取当当网数码笔记本整个类目下的所有商品，代码尽量少用for循环，而使用apply族函数比较高效哦，好了，代码如下：
本文章的例子仅用于学习之用，如涉及版权隐私信息，请联系本人删除，谢谢

# install.packages("rvest")
library(rvest)
# 第一步
# 这里先自定义两个函数
# 第1个：自定义读取单个商品url地址函数
read.url<-function(category){
  # 解析网页
  webs<-read_html(category,encoding = "gbk") 
  urls<-webs %>% 
    html_nodes("div.con.shoplist") %>% 
    html_nodes("ul") %>% 
    html_nodes("li") %>% 
    html_nodes("a.pic"