R语言爬虫电影票房-艺恩网

最新推荐文章于 2024-04-28 17:23:25 发布

原创

最新推荐文章于 2024-04-28 17:23:25 发布 · 2.8k 阅读

30 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #R语言 #电影票房 #艺恩网

本文介绍了使用R语言进行网络爬虫，目标是获取艺恩网上电影票房的相关数据，以用于大数据背景下的电影票房预测研究。首先爬取首页获取电影名称和ID，然后拼接URL获取每个电影的详细信息页面，最终整理成结构化的数据格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、爬取目的：
爬取数据用于论文-大数据背景下我国电影票房预测研究
数据来源：http://www.cbooo.cn/

二、思路解析：

爬取首页电影名称+ID
拼接 http://www.cbooo.cn/m/ + ID 获取电影详情页

library(tidyverse)
library(httr)
library(jsonlite)
library(rlist)
library(plyr)
##tidyverse：包含R语言常用的8个包，合集
##httr：相当于py的Request库，

#获取总览页
yien_data <- data.frame()
for (i in 1:395){
    url <- paste('http://www.cbooo.cn/Mdata/getMdata_movie?area=50&type=0&year=0&initial=%E5%85%A8%E9%83%A8&pIndex=',i,seq='')
    
    Sys.sleep(0.5) 
    
    response <- GET(url, user_agent="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36")
   
    result <- fromJSON(content(response,as="text"))
    yien_data1 <- as.data.frame(result[[1]])
    #合并不等长的数据框rbind.fill()
    yien_data <- rbind.fill(yi