用 Python 爬了猫眼3000+《指环王》影评,看看20年前的魔幻电影鼻祖在当下影迷眼中的样子...

Python中的爬虫实战:猫眼电影爬虫 通过发送网络请求、解析HTML代码、保存数据等步骤,我们可以轻松地获取到目标电影相关数据,并将其存储到本地。Requests是Python HTTP库,可以轻松发送网页请求,而BeautifulSoup是Python的HTML解析库,可以快速解析HTML页面。将获取到的HTML代码转化为BeautifulSoup对象,使用BeautifulSoup库解析HTML代码,获取目标数据。猫眼电影作为国内领先的电影数据平台,为用户提供了全面的电影信息服务。打开猫眼电影网站,找到目标电影的链接,并将其复制下来。 阅读详情

指环王三部曲,可以说是魔幻电影的开山鼻祖,二十年前的特效下,森林、大山、魔王、高塔,城堡等等都栩栩如生的呈现在我们眼前。虽然这次重映,票房不高,也因为电影时长等原因被各种诟病,但是还是不影响魔戒迷们冲进电影院,来弥补二十年的遗憾!

本文获取了猫眼上三部曲的全部影评,一起来看看大陆影迷对于这系列“老”片的评价吧

数据获取

我们先来看看爬取数据的部分代码,由于猫眼采取了一定的反爬措施,一个比较重的措施就是对于请求中 header 的 UA 数值的校验,所以我们这里使用了 Python 第三方库中比较好用的生成随机 UA 的库 fake_useragent

from fake_useragent import UserAgent

ua = UserAgent()

接下来我们就可以根据评论的接口来获取数据了

def fire(num):
    page = 0
    for i in range(15, 135, 15):
        print("开始爬取第 %s 页" % page)
        headers["User-Agent"] = ua.random
        url1 = 'http://m.maoyan.com/review/v2/comments.json?movieId=1220&offset={}&limit=15&type=2'.format(
            i)  # rings 1
        url2 = 'http://m.maoyan.com/review/v2/comments.json?movieId=1221&offset={}&limit=15&type=2'.format(
            i)  # rings 2
        url3 = 'http://m.maoyan.com/review/v2/comments.json?movieId=428&offset={}&limit=15&type=2'.format(
            i)  # rings 3
        try:
            if num == 1:
                print(url1)
                res = requests.get(url1, headers=headers).json()
            elif num == 2:
                print(url2)
                res = requests.get(url2, headers=headers).json()
            else:
                print(url3)
                res = requests.get(url3, headers=headers).json()
        except Exception as e:
            print(e)
            time.sleep(120)
            # continue
        # if not to_json['paging']['hasMore']:
        if not res['paging']['hasMore']:
            print("爬取完成")
            # driver.close()
            break
        data = get_json(res)
        # data = get_json(to_json)
        save_to_csv(data, num)
        time.sleep(20)
        page += 1

这里还是进行了比较长的 sleep,毕竟如果请求发送的太快,我们的 IP 还是很容易被识别的

获取到数据之后,我们就来看看每一部电影的相关数据吧

护戒使者

对于第一部,在魔幻电影界来说绝对是横空出世的感觉,我们抓取到的数据如下

性别分布

先来看看评论者的性别分布吧,一般来说,这列电影,肯定男孩子比较多啦

可以看到,在填写了性别信息的数据当中,男生占比还是比较大的,不过还是有大部分人选择了不公开性别

用户级别分布

还是很正常啊,大部分都是 level-0 的用户,毕竟万万千千的普通人才是社会主体

评分分布

对于电影的喜爱程度,评分才是最为直接的选择

可以看到,有60%多的用户给出了10分,有接近80%的用户给出了9或10分,看了护戒使者还是很受观众喜爱的!

用户评论

再来看看用户的评论

这就是大型的夸夸现场,毕竟经典永远不会过期!

对于另外两部电影,我们直接来看下用户评论吧

双塔奇兵&王者归来评论

从用户的评论来看,指环王三部曲还是非常给力的,经典永流传!

不少影迷还表示,拖欠的电影票终于补上啦

好了,今天的分享就到这里,给个“在看”再走吧



推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径
干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影
趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!
AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影
小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

年度爆款文案

点阅读原文,领AI全套资料
【爬虫学习】实战篇1:猫眼电影票房爬虫 使用python自带的urllib库编写一个小程序,我们只需启动小程序,就可以实时爬取猫眼的电影票房数据,并自动将数据生成一个excel保存至本地文件夹。接下来,我将尽可能详细地介绍爬虫编写的步骤,希望大家可以跟着我一步步操作,全部编写完成之后,我们可以展开想象的翅膀,触类旁通,使用相同的技巧去获取自己需要的公开数据吧! 阅读详情

相关推荐

猫眼爬虫三-终极篇:破解滑动验证,动态字体加密

前面两节我们对猫眼网站进行了爬取,中间,我们会遇到各种反爬虫,包括滑动验证和字体加密等等,今天,我们就对这些反爬虫进行一一破解,实现猫眼网站的全信息爬取! 1、滑动验证:滑动验证类似于极验证(滑块验证,电脑的B站登陆要滑动的哪个),但是原理不一样,目前来说,12306的相关抢票的脚本已经实现了自动加载滑块滑动,但大多数情况还得手动,在这里也是。 破解流程: 1、先尝试着获取数据,如果遇到爬取链接与...

qq_42105477的博客 7337

【python】猫眼爬虫Top100电影信息

最近做了猫眼爬虫和数据分析,收获很多,记录在此。爬虫和数据分析是两个模块,可以参考目录: 目录 一、猫眼爬虫 1. 猫眼爬虫第一步——找到我们需要的数据 2. 猫眼爬虫第二步——获取数据 3. 猫眼爬虫第三步——解析数据 4. 猫眼爬虫第四步——存储文件 数据分析是第二块,以后有空了再更新。 一、猫眼爬虫 1. 猫眼爬虫第一步——找到我们需要的数据 打开网站猫眼验证中心:https://www.maoyan.com/board/4, 就是我们想要.

qq_44665162的博客 5875

猫眼电影专业版数据爬取

猫眼电影专业版数据爬取

2201_75777145的博客 1740

Python爬虫实战案例一:爬取猫眼电影

笔者上一篇文章《基于猫眼票房数据的可视化分析》中爬取了猫眼实时票房数据,用于展示近三年电影票房概况。由于数据中缺少导演/演员/编剧阵容等信息,所以爬取猫眼电影数据进行补充。关于爬虫的教学内容,网络上一搜就有很多了,这里我以个人的爬虫习惯,介绍此次过程中所用到的库和代码。

2201_75362610的博客 4509

【Python爬虫】猫眼电影榜单Top100

Python爬虫大作业,本文是根据实验报告修改,内容与实验报告基本一致。【作业2020年11月20号前提交,本文于21号开放】 一、目标 爬取猫眼电影榜单Top100,将数据存入Excel文件中,并利用pyecharts库进行数据可视化得到.html文件和.png文件。 二、内容 主要包括四个阶段:爬取网页全部数据、获取数据并进行处理、数据存储、数据可视化。 1、 爬取网页全部数据 通过requests.get()获得页面数据,使用etree.HTML()将字符串数据转变成_Element对象,并存储在.

weixin_43983431的博客 1万+

Python爬虫实战:实时抓取猫眼电影票房数据的终极指南

使用 Playwright 模拟浏览器访问猫眼电影抓取实时票房排行榜前列电影数据自动存储为 CSV + SQLite可视化票房数据趋势。

2201_76125261的博客 1518

Python—猫眼电影票房爬虫实战 轻松弄懂字体反爬!

目标 1.爬取猫眼票房信息 2.将信息保存起来(MySQL、Redis、MongoDB或者Excel等等),我们保存的是Excel 爬取网址 https://piaofang.maoyan.com/?ver=normal&isid_key=2d9aacd2f26d4d0dba63 分析 1.打开chrome,输入网址我们看到的效果如下 2.我们要获取的信息如下图 3.右击检查打开开发者工具,选择左下角鼠标按钮,然后点击一个电影的标题 可以看到这个标签里面就是我们想...

爬遍所有网站 6596

网络爬虫丨基于requests+mysql爬取猫眼热门电影数据做可视化分析

本期内容:基于requests+mysql爬取猫眼热门电影数据做可视化分析。

AIGC 2万+

偶然发现的Python自学宝藏地带!

大家好最近发现一个自学python的好地方,这里全部都是原创文章,涉及爬虫、可视化、Python Web、数据分析、自动化办公、机器学习,应有尽有;而且每篇文章都有源码分享,大家一起来看看...

weixin_43373042的博客 381

Pytorch实现softmax多分类

PyTorch实现softmax多分类

天涯雨的博客 1389

Q3D提取PCB走线RLCG参数

介绍一种提取PCB走线寄生电容和寄生电感的方法

sinat_15150363的博客 2930

Python爬虫入门实战之猫眼电影数据抓取(理论篇)

导入 re 模块import re# 待匹配文本h1 = 'Chapter 3.2.1 - 介绍正则表达式'# 将正则字符串编译成正则表达式对象,方便在后面的匹配中复用# re.search 扫描整个字符串并返回第一个成功的匹配# 匹配的整个表达式的字符串,group() 可以一次输入多个组号,在这种情况下它将返回一个包含那些组所对应值的元组。# 匹配的第一个括号内的字符串,group() 可以一次输入多个组号,在这种情况下它将返回一个包含那些组所对应值的元组。

mate1357的博客 2340

Unreal 从入门到进阶 之 如何实现Pixel Streaming

Unreal Engine 5 (UE5) 的 Pixel Streaming 是一项基于云端的实时流媒体技术,允许将 UE5 应用的高质量图形渲染结果通过 WebRTC 协议传输到用户的浏览器或轻量级设备,同时将用户输入(如鼠标、键盘、触控)回传到服务器处理。UE的插件相对比较好用,但是就是环境下载总是失败。希望这篇文章对你有所帮助。

TxNet 1372

爬虫实战(一)猫眼电影基础数据爬取

看完爬虫基础,是不是有点心动手痒了呢?那么接下来就让我们一起学习如何爬虫吧。 写在爬虫之前 选这个题目的初衷:本人是一个学生党,经济来源较少但平时又特别爱看电影,又没时间关注电影票价的变动,有了这个爬虫之后,这将会极大的缓解我的苦恼。 爬取网页的说明:我们选择美团旗下的猫眼电影页面进行爬取,但不得不承认美团网站页面的反爬虫机制还是很厉害的。所以,我们将目标锁定在了它的客户端页面。 页面地址...

yeverwen的博客 1万+

【论文复现】——基于改进FPFH特征提取的点云模板匹配方法

基于改进FPFH特征提取的点云模板匹配方法 [J]. 应用激光, 2024, 44 (04): 196-204.

点云侠的博客 613

中远麒麟堡垒机 SQL注入漏洞复现

中远麒麟堡垒机/baoleiji/api/tokens接口处存在sql注入漏洞,未经身份认证的攻击者可通过该漏洞获取数据库敏感信息及凭证,最终可能导致服务器失陷。

0xSec 2996

Python爬虫之三:抓取猫眼电影TOP100

今天我要利用request库和正则表达式抓取猫眼电影Top100榜单。 运行平台: Windows Python版本: Python3.6 IDE: Sublime Text 其他工具: Chrome浏览器 1. 抓取单页内容 2. 正则表达式提取有用信息 3. 保存信息 4.下载TOP100所有电影信息 5.多线程抓取 1. 抓取单页内容 浏览器打开猫眼电影...

C与Python实战 1万+

windows11下pycharm怎么完全卸载?完整卸载pycharm编辑器的教程

在卸载pycharm时都有遇到卸载不干净不完全的问题,那么具体怎样做才能完全卸载pycharm呢?退出所有的操作,重新启动电脑,会发现相关的软件已经被删除了。步骤1:卸载软件并删除安装目录。步骤2:删除相关的注册表。

拥抱具身智能,昇腾Ascend C 1万+

Python爬虫入门实战之猫眼电影数据抓取(实战篇)

项目实战 静态网页实战   本节我们将为大家展现一个完整爬虫的大致过程,此次项目内容为提取猫眼电影TOP100榜中的所有电影信息并存储至CSV文件中,其首页地址为http://maoyan.com/board/4,在3.2.2中我们已经获取过第一页中的所有电影名了,但是如何获取第二页、第三页的数据呢,即获取第二页第三页对应的URL,那么我们可以在浏览器中不断翻页寻找地址栏中URL的...

若数的博客 5375

无需SLAM建图,直接生成Gazebo仿真环境的二维代价地图的功能包pgm_map_creator适配ROS Noetic编译报错及解决方法

在ROS Noetic中,使用`pgm_map_creator`功能包直接生成Gazebo仿真环境的二维代价地图时,可能会遇到各种编译和运行错误。本篇博客详细解析了在适配ROS Noetic过程中常见的报错及其解决方法,包括Boost文件结构更新、C++版本兼容性、Gazebo函数名变更、链接库缺失以及protobuf文件加载错误。通过逐步排查和修改,如更换头文件路径、调整C++标准、更新CMakeLists.txt文件等,成功解决了这些问题,使得`pgm_map_creator`功能包能够顺利编译和运行。

慕羽★的博客 2261

【WRF-FDDA】观测 Obs nudging 的配置与使用说明(中)

WRF-FDDA

WW、forever的博客 282

多种方法爬取猫眼电影并分析(附代码)

数据科学俱乐部中国数据科学家社区♚作者:苏克,零基础转行python爬虫与数据分析博客:https://www.makcyun.top摘要: 作为小白,爬虫可以说是入门p...

Python中文社区 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Python网络爬虫入门篇

Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析“标签树”等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码方式,这时,Beautiful Soup就不能自动识别编码方式了。然后,你仅仅需要说明一下原始编码方式就可以了。

2401_86078658的博客 2123

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

上一篇: 再见 CSV,速度提升 150 倍!
下一篇: 李国庆:建议被降级降薪员工主动辞职,网友炸了!
菜鸟学Python
博客等级 码龄9年 8089粉丝 571原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值