数据分析（一）豆瓣华语电影分析

最新推荐文章于 2025-04-11 23:56:23 发布
最新推荐文章于 2025-04-11 23:56:23 发布
阅读量9.5k 收藏 99
点赞数 17
分类专栏： 数据分析 文章标签： 豆瓣电影 数据分析 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43004311/article/details/84575014
版权
本文对豆瓣华语电影33133部数据进行爬虫和分析，探讨产量、质量趋势、地区对比及影片类型。通过数据清洗，分析电影行业产量下降、质量波动以及地区电影特点，揭示华语电影的发展现状。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在之前，我们已经用通过爬虫获取了豆瓣华语电影共33133部电影的数据，具体爬虫介绍请见之前的博文，爬虫实战（一）利用scrapy爬取豆瓣华语电影。本文对爬虫过程进行简要概述后，对这部分数据进行分析。

1. 前言

随着生活的水平提高，人们开始了对精神生活的追求，电影已经成为我们生活中必不可少的一项娱乐活动。近年来，中国电影产业发展迅速，华语电影数量和票房也频频突破新高。而一个行业的发展，不仅需要数量，还要质量。那华语电影近些年整体的质量如何呢？本文通过对豆瓣华语电影数据进行爬虫和分析，带大家了解华语电影这些年来的产量质量趋势、影片类型分布，以及哪些导演或演员是好片或烂片专业户。

2. 数据获取

在分析豆瓣网页结构后，使用python的Scrapy框架爬取了豆瓣华语电影，即中国大陆、香港、台湾地区总共33133部，并将数据存储在本地的MongoDB数据库中。对于每部电影，收集以下12个字段：

  • id: 豆瓣id
  • title: 电影名称
  • year: 上映年份
  • region: 制片地区
  • language: 语言
  • director: 导演
  • type: 类型
  • actor: 主演
  • date: 上映日期
  • runtime: 片长
  • rate: 评分
  • rating_num: 参与评分人数

具体示例如下：
数据描述

3. 数据清洗

在进入分析之前，需要对获取的数据进行清洗和处理。首先，使用pymongo模块将数据库中的数据导入，接着使用pandas库进行处理。

3.1 缺失值处理

通过打印每一列的空值统计，可以看到部分列都存在空值。之前在数据爬取的过程中，发现一般如果电影是在院线上映的且年代不是特别久远的，所有的信息都很完整。如果出现导演、演员、上映日期等的一些列为空的，大部分是网络电影或者是没有上映的。所以这里将在演员、导演、语言、类型、上映时间这5列中任一列出现空值的数据都做删除处理。另外对于年份一列有缺失的，采用上映日期的年份进行填充。

3.2 数据格式处理

为了后续分析方便，将部分列的数据格式进行转换，如将评分和评分人数这两列由string类型分别转为float类型和int类型；将语言一列list中的"/“分割改为”,"分割等。

3.3 增加辅助列

通过观察数据发现，如果一部电影是多个地区合作制作的，那么地区这一列的list中就有多个地区的元素。以这种展现形式，不便于后续以地区为维度进行分析。因本文主要分析华语地区&

最低0.47元/天 解锁文章
基于 flask的豆瓣电影数据可视化分析系统
Deng872347348的博客
04-14 816
基于 flask的豆瓣电影数据可视化分析系统
2018年豆瓣最新华语电影数据
10-18
通过爬虫获取的豆瓣最新华语电影数据，字段包括电影名称、上映年份、制片地区、语言、导演、类型、主演、上映日期、片长、评分、参会评分人数等。具体数据类型可参见我的博文：https://blog.youkuaiyun.com/weixin_43004311/article/details/82962159。数据截止日期为2018年9月。
豆瓣电影数据分析
CherryChenieth的博客
04-14 709
Python豆瓣电影数据爬取+清洗+可视化分析系统
最新发布
qq_80213251的博客
04-11 427
🍅1、项目介绍技术栈：Python语言、Flask框架、MySQL数据库、requests爬虫技术、Echarts可视化、爬虫+清洗+可视化、豆瓣电影数据2、项目界面（1）电影制片地区饼图分析（2）电影数据信息（3）首页（4）电影数据漏斗图分析（5）饼图分析（6）电影类型数据柱状图（7）导演作品柱状图分析（8）评分与评论人数散点图（9）每年电影数量折线图（10）数据采集页面。
电影数据分析
awpc21的博客
09-18 3644
项目案例 数据集介绍 数据集链接：https://pan.baidu.com/s/1qg7Z2ZJUi5pk9RIZN32srg 提取码：bhdz 复制这段内容后打开百度网盘手机App，操作更方便哦 这是一份好莱坞电影数据，有28个特征，五千多个样本，特征有电影时长、导演、票房、语言、评分等，样本中有缺失值，需要进行处理。 项目任务 查看票房收入统计 导演vs票房总收入 主演vs票房总收入...
豆瓣电影(二)：数据分析
weixin_45032666的博客
09-02 3778
豆瓣数据分析需要用到的数据文件 —> 豆瓣高分电影文件链接：https://pan.baidu.com/s/18cYvdphVOI7vT6PynDrmDA 提取码：421y 目录一、数据集1.1、导入三个基础库1.2、忽略警告1.3、设置字体和样式二、数据清洗2.1、缺失值三、绘图 一、数据集 1.1、导入三个基础库   Pandas： Pandas是一个强大的分析结构化数据的工具集；它的使用基础是Numpy（提供高性能的矩阵运算）；用于数据挖掘和数据分析，同时也提供数据清洗功能。   Numpy.
豆瓣华语电影数据处理后.csv
11-24
来自运筹帷幄的豆瓣电影数据集，这个数据集可以让观影者对现有的华语电影进行分析。可以从各个维度对电影分析。
爬虫实战（一）利用scrapy爬取豆瓣华语电影
SY的博客
10-07 5911
在学习爬虫之前，翻过知乎上的一个回答：利用爬虫技术能做到哪些很酷很有趣很有用的事情？，这大概是我学习爬虫最初的动力。而现在踏过小白阶段后，便开始也想做这样的事情，结合数据分析或是其他的，做一些有趣的东西。 那从简单的开始，第一个爬虫项目是爬取豆瓣华语电影的数据，后面将利用这部分数据进行分析。 1. 爬取思路 在观察了豆瓣每个影片的链接地址后，写下了主要思路： 在豆瓣电影的选片页面，筛选所有华语（...
电影数据分析.docx
12-16
一、数据分析项目介绍 1. 项目所需的模块库介绍 pandas用法： 需要导入以下模块 import numpy as np import pandas as pd from pandas import Series, Dataframe 2.项目背景介绍 互联网电影资料库（Internet Movie Database，简称IMDB）是一个关于电影演员、电影、电视节目、电视明星和电影制作的在线数据库。电影作为艺术和娱乐载体已成为我们生活中的一部分，作为电影爱好者之一，希望通过分析了解电影市场大体情况，以便于以后选择电影观看。 使用的数据是IMDB美国票房排名前1000的电影数据，数据包含了电影名称，票房金额，上映年份，演职人员，IMDB评分，电影类型等信息，数据中的很多电影大家也比较熟悉。相信不少人都有这样的经历，当想要看一部电影的时候，会去百度一下谁是导演，谁是主演。如果导演是克里斯托弗•诺兰，心里已经给电影打了个8分以上的评分了。而阿汤哥的动作片，预期也都能肾上腺素飙升。对于已上映的电影，不少人会去豆瓣搜索现时的评分，或是前作的评价，若是豆瓣高分、高评论数，也会按奈不住去蹭下热度。如果要去电影院观看的话，想必不少人会更倾向选择动作片或者科幻大片这类特效丰富，影音冲击强烈的电影。近几年特效技术和3D动画的日渐成熟，影院观影已经是越来越多人的第一选择。 IMDB的资料中包括了影片的众多信息、演员、片长、内容介绍、分级、评论等。对于电影的评分目前使用最多的就是IMDB评分。 截至2018年6月21日，IMDB共收录了4,734,693部作品资料以及8,702,001名人物资料。 3.项目所需数据介绍 数据的属性包括：电影名称、评论数、评分、导演、上映时间、上映国家、主要演员、语言、IMDB评分等。 理解数据： color 、director_name 、num_critic_for_reviews、duration、director_facebook_likes 、actor_3_facebook_likes、actor_2_name 、actor_1_facebook_likes 、gross 、genres 、actor_1_name 、movie_title 、num_voted_users、cast_total_facebook_likes 、actor_3_name 、facenumber_in_poster 、plot_keywords 、movie_imdb_link 、num_user_for_reviews、language 、country、content_rating、budget、title_year 、actor_2_facebook_likes 、imdb_score 、aspect_ratio 、movie_facebook_likes 4.项目功能详细介绍 显示电影评分分布的情况； 电影数量与平均分年度变化的情况； 评论家评论数与评分的关系； 评分与电影票房的关系； 电影数量大于5前提下平均分前十的导演推荐的数据； 不同电影类型的年份累计分析； 电影时长的分布及时长是否和评分有相关性； 电影时长的分布及时长是否和评分有相关性。 二、数据分析过程 1.主要功能实现的类和方法介绍 # 清洗runtime电影时长列数据，可使用str.split()方法 df['runtime'] = df['runtime'].str.split('').str.get(0).astype(int) df['runtime'].head() # 清洗year列，使用str[:]选取年份数字并转换成int类型，使用df.unique()方法检查数据 df['year'] = df['year'].str[-5:-1].astype(int) df['year'].unique() 2. 数据分析过程代码和解释说明 导入包： 导入、查看、清洗数据： 评分分布图： 电影数量与平均分布年度变化： 评论家评论数&评分、评分&票房： 电影数量大于5平均分前十的导演： 统计不同年份、不同类型电影的数量： cumsum = df.groupby(['main_genre', 'year']).title.count() # 使用累加功能统计1980年起不同年份不同电影类型的累计数量，对于中间出现的缺失值，使用前值填充 genre_cumsum = cumsum.unstack(level=0).cumsum().ffill() # 只选取总数量大于50的电影类型数据 genre_cumsum = genre_cumsum.loc[:,genre_cumsum.iloc[-1,:] >= 50] # 根据电影类型统计数据作图 fig, ax2 = plt.subplots(figsize=(12,6)) genre_cumsum.plot(ax=ax12, legend=False, linewidth=3) # 添加数据标签 for i in last_row.iteritems(): if i[0] == 'Adventure' or i[0] == 'Biography' or i[0] == 'Horror': ax2.annotate('{} {}'.format(int(i[1]), i[0]), xy=(2018.5, i[1]-5), fontsize=12) else: ax2.annotate('{} {}'.format(int(i[1]), i[0]), xy=(2018.5, i[1]+5), fontsize=12) # 美化图表 ax2.set_title('The Aggregate Movies of Different Genres Over Years', fontsize=16) ax2.spines['top'].set_visible(False) ax2.spines['right'].set_visible(False) ax2.spines['left'].set_visible(False) ax2.tick_params(bottom=True, labelleft=False) ax2.set_xlabel('') plt.tight_layout() 电影时长的分布及时长是否和评分有相关性： fig, ax4 = plt.subplots() df['runtime_min'].hist(range=(70,210), bins=14, color=(114/255,158/255,206/255)) ax4.set_title('The Runtime Distribution of US Top Box Office Movies') ax4.spines['top'].set_visible(False) ax4.spines['left'].set_visible(False) ax4.spines['right'].set_visible(False) ax4.set_xticklabels(np.arange(70,220,10)) ax4.set_xticks(np.arange(70,220,10)) ax4.grid() 绘制时长和IMDB评分相关性： fig = plt.figure(figsize=(14,7)) sns.lmplot(data=df, x='runtime_min', y='imdb_rate') sns.despine() 三、数据分析结果评估 1、评分分布主要在5.0~8.0之间，3.0以下和9.0以上分布很少。如果8.0算为优秀，则优秀电影占比较少。 2、电影数量在1990~2000年间快速增长，2009年达到较高值。而电影的平均分整体上呈下降趋势。 3、评论家评论数与评分整体呈正相关关系，500以上评论家评论数对应的评分都高于6.0。 4、评分与票房整体呈正相关关系，但关系不强。 IMDB评分人数和电影票房的相关性很弱，高票房不代表评分人数多，低票房电影也能有大量的IMDB评分人数。 5、电影数量大于5平均分前十的导演：Christopher Nolan、Quentin Tarantino 、 Stanley Kubrick、 James Cameron 、Peter Jackson 、Alejandro G. Iñárritu 、David Fincher 、Martin Scorsese 、 Wes Anderson 、Paul Greengrass。 6. 前五大电影类型分别是动作片Action，喜剧片Comedy，动画片Animation，剧情片Drama，冒险片Adventure。1995年之前，动作片和喜剧片都是影院观众最喜爱的电影类型，对应的高票房数量不分伯仲，剧情片是另一相对流行的电影类型。1995年后，高票房的动作片快速增长，甩开了喜剧片。喜剧片随仍是高票房数量第二多的电影类型，但近几年增速明显放缓。高票房动画片进入榜单的时间最晚，但在1998年前后迎来明显增长，此后的十年里完成了对剧情片和冒险片的超越。如果动画片保持目前的增速，有望在之后的十几二十年里超越喜剧片，成为高票房数量第二的电影类型。 7. 时长和IMDB评分呈一定的相关性，时长短的电影既有高分也有低分，但时长超过160分钟的电影基本都能获得6分以上的分数，时长最长的两部电影甚至得到了接近9分的超高得分，IMDB评分接近或低于4分的电影时长均小于130分钟。丰富的剧情和长长的故事也许也是一种容易感染观众的方式，这也和之前提到的好的故事打动观众相呼应。 四、总结 数据分析的过程往往是一个从宏观到微观的过程。先从宏观上把握数据大体的情况，大胆地提出假设，然后再将数据进行细分，小心地求证。通过数据的对比，就很容易看出调整的效果。 有关活动效果的数据分析往往也会涉及数据的对比。具体的思路是从要分析的目的入手，首先思考造成这种情况的可能原因有什么，再从每个可能的原因中找到相应的数据，与要分析的目的的数据进行比较，看哪一个是造成该情况发生的主要原因。 这里要用到的是excel的图表工具，把每一种可能的数据都作出一个图表，与要分析的目的的数据图表进行比较，如果有某一个数据的变化曲线与之相差不多，则可以说这个所对应的原因是造成该情况发生的主要原因。 以上是分析活动的一些核心数据，核心数据的分析是最主要的，因为这直接反应了该活动最本质的效果。
电影数据分析（大数据分享）
weixin_38676040的博客
11-24 5096
1.导入包： %matplotlib inline import pandas as pd import matplotlib.pyplot as plt 2.导入用户数据; unames = ['user_id','gender','age','occupation','zip'] users=pd.read_table('ml-1m/users.dat',sep='::',header=No...
豆瓣电影数据
08-08
豆瓣电影数据，包含电影名称、评分、评价人数、短评数量、影评、数量类型、导演、编剧、主演、上映日期等等....
电影数据分析练习
12-20
数据来源：https://www.kaggle.com/damianpanek/sunday-eda/data 数据描述：2006年到2016年1000部最流行的电影数据 报告分为： （1）提出问题 （2）认识数据 （3）清洗数据 （4）分析数据 （5）总结 （一）提出问题 （1）获取评分的平均分信息 （2）分析导演信息 （3）获取演员人数信息 （4）查看电影时长(runtime)的分布情况 （5）对电影上映时间进行分析 （6）统计电影分类(genre)的情况 （7）分析电影票房与哪些因素相关** （二）认识数据 1、首先导入相关的python数据分析的库 import pandas as p
电影数据分析报告
sense998的博客
04-13 861
伴随着疫情结束，原本对开放后的文娱生活充满期待的人们才意识到，电影时长的繁荣并未如期到来，而是更加坠入寒冷的深渊。随着越来越多的老电影重返荧幕，本文对电影数据进行分析研究，探索电影主题的发展史，为电影行业东山再起提供一定的参考。
豆瓣电影影评分析
DistanceTiAmo的博客
08-11 420
from peewee import SqliteDatabase from models import Comment,Movie,MovieChinese import pandas as pd import jieba from pyecharts.charts import WordCloud from pyecharts.globals import ThemeType import pyecharts.options as opts from tqdm import tqdm from c.
豆瓣影评分析系统
李润泽的博客
05-08 6306
临近毕业，开始搞毕业设计，博主尝试做一个豆瓣影评分析系统。 先导：设计思路 使用Selenium+Phantomjs 爬取 豆瓣电影最新电影的影评存储为txt文件 使用Jieba 中文分词工具进行分词和词云的展示 使用snownlp包进行影评情感分析和影片情感倾向分析 一、爬取豆瓣影评数据 安装依赖环境： pip install selenium pip install pyte...
数据分析案例 |【01】电影数据分析
weixin_45926547的博客
05-20 2342
文章目录一、准备数据二、数据分析小题目三、开始分析问题四、完整代码 一、准备数据 电影数据 提取码：nxi7 二、数据分析小题目 获取评分的平均分 获取导演数量 呈现Rating、Runtime的分布情况 对电影进行分类统计genre 三、开始分析问题 首先使用pandas中的read_csv读取表格中的数据。 data = pd.read_csv('./IMDB-Movie-Data.csv') data.head(20) 获取评分中的平均分 可知，rating这个一列就
数据分析案例-电影数据分析
m0_64336780的博客
05-07 6923
目录 电影数据集介绍 加载数据 数据探索和清洗 评分最多的电影 评分最高的电影 评分与年龄的关系 不同年龄段对某部电影的评分 电影数据集介绍 用户信息 #u.user #列名称 'user_id','age','gender','occupation','zip_code' #数据 1|24|M|technician|85711 2|53|F|other|94043 3|23|M|writer|32067 4|24|M|technician|43537 5...
七、电影数据分析
热门推荐
小石小石摩西摩西
08-18 3万+
七、电影数据分析 7.1 背景介绍 7.1.1实验背景 电影娱乐产业越发发达，投资商希望能从电影的各种数据中找到最可能赚钱的电影有什么特点。 数据介绍 budget 预算 genres 电影名数据 homepage 网站主页 id keywords 关键字 original_language 语言 original_title 标题 overview 概述 popularity 人气 popularity 电影商 production_countries 电影商拍摄地 release_date 发布日期
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值