Python 分析 9 万条数据告诉你复仇者联盟谁才是绝对 C 位!

轻量级前端可嵌入电影语义推荐浮层系统 电影推荐系统本质上是将用户兴趣与内容语义对齐的技术实践。其核心原理在于构建可比对的向量表征空间,通过双塔架构解耦内容理解与上下文建模,以余弦相似度实现低延迟匹配。相比传统协同过滤,语义推荐在小样本、冷启动场景下具备更强鲁棒性与可解释性,技术价值体现在无需用户行为历史、不依赖中心化服务、支持本地化部署。典型应用场景包括个人博客、静态网站、NAS影音库及影视类小程序的智能增强。本文聚焦基于DistilBERT微调与纯前端浮层渲染的轻量实现方案,突出DIY友好性与端到端10分钟落地能力。 阅读详情

漫威宇宙,其实就讲了一件事情。整个宇宙就好比一个项目组。其中有一群叫作美国队长、钢铁侠、惊奇队长、浩克、索尔等人在维护这个项目,兢兢业业的维护整个项目。

某一天,出现了一个天才程序员,叫灭霸。当他加入到这家公司的时候,他意识到,这个项目已经非常庞大,仅仅是编译,就要几个小时。运行起来负重累累。而服务器资源又非常的有限,老板又不给预算买新机器,如果一直继续这么开发下去,这个项目迟早要出现 P0 事故。于是,他下定决定要把这个项目全面优化,使用用面向对象思想,提取重复代码,业务拆分,算法优化等手段,彻底优化,目标是代码量减少 50%。

美国队长带领的项目组叫复仇者联盟,发现了灭霸程序员的想法后,阻止并警告灭霸说:不要轻易去改老代码!!很容易出 bug 的,代码能跑就行!!

—— 以上来自知乎@郭启军

https://www.zhihu.com/question/321428495/answer/663671132

那么,作为一个写程序员的电影,我们怎么不能用数据来分析一下,喜欢漫威宇宙的观众对《复联 4》的评价呢?


抓取数据

业界朋友们,在电影分析中,使用猫眼的数据比较多。在本文中,笔者也使用了猫眼的接口来获取数据,方便处理,数据量也比较多。

有关接口,大家可以自己去猫眼的网站上看,也可以使用如下地址:

http://m.maoyan.com/mmdb/comments/movie/248172.json?_v_=yes&offset=20&startTime=2019-04-24%2002:56:46

在 Python 中,使用 Request 可以很方便地发送请求,拿到接口返回的 JSON 数据,来看代码:

def getMoveinfo(url):  
    session = requests.Session()  
    headers = {  
        "User-Agent": "Mozilla/5.0",  
        "Accept": "text/html,application/xhtml+xml",  
        "Cookie": "_lxsdk_cuid="  
    }  
    response = session.get(url, headers=headers)  
    if response.status_code == 200:  
        return response.text  
    return None

请求返回的是一个 JSON 数据,拿到我们想要的评论原始数据,并将数据存储在数据库中:

def saveItem(dbName, moveId, id, originalData) :  
    conn = sqlite3.connect(dbName)  
    conn.text_factory=str  
    cursor = conn.cursor()  
    ins="INSERT OR REPLACE INTO comments values (?,?,?)"  
    v = (id, originalData, moveId)  
    cursor.execute(ins,v)  
    cursor.close()  
    conn.commit()  
    conn.close()

经过大概两个小时,终于从猫眼爬取了大约 9 万条数据。数据库文件已经超过了 100M 了。

数据清洗

因为在上面抓取下来的数据,直接进行了原数据的存储,没有进行数据的解析处理。接口中包含了很多数据,有用户信息、评论信息等。本次分析,只使用了部分数据,所以需要将用到的相关数据清洗出来:

def convert(dbName):  
    conn = sqlite3.connect(dbName)  
    conn.text_factory = str  
    cursor = conn.cursor()  
    cursor.execute("select * from comments")  
    data = cursor.fetchall()  
    for item in data:  
        commentItem = json.loads(item[1])  
        movieId = item[2]  
        insertItem(dbName, movieId, commentItem)  
    cursor.close()  
    conn.commit()  
    conn.close()  
  
def insertItem(dbName, movieId,  item):  
    conn = sqlite3.connect(dbName)  
    conn.text_factory = str  
    cursor = conn.cursor()  
    sql = '''  
    INSERT OR REPLACE INTO convertData values(?,?,?,?,?,?,?,?,?)  
    '''  
    values = (  
        getValue(item, "id"),   
        movieId,   
        getValue(item, "userId"),  
        getValue(item, "nickName"),  
        getValue(item, "score"),  
        getValue(item, "content"),  
        getValue(item, "cityName"),  
        getValue(item, "vipType"),  
        getValue(item, "startTime"))  
    cursor.execute(sql, values)  
    cursor.close()  
    conn.commit()  
    conn.close()

通过 JSON 库将原始数据解析出来,将我们需要的信息存储到新的数据表中。

数据分析

因为没有任何一个平台能够拿到用户的购票数据,我们只能从评论的数据中,以小见大,从这些数据中,分析出一些走势。 在评论数据中,我们能看到评论用户所在的城市。将数据所在的位置解析,划分到各对应的行政省,可以看到每个省评论数量,见下图(颜色越红,用户评论数量越多):

城市

从图中可以看到, 上海、广州、四川用户的数量显然要比其他城市的用户数量要多得多。再来看一下代码:

data = pd.read_sql("select * from convertData", conn)  
    city = data.groupby(['cityName'])  
    city_com = city['score'].agg(['mean','count'])  
    city_com.reset_index(inplace=True)  
    fo = open("citys.json",'r')  
    citys_info = fo.readlines()  
    citysJson = json.loads(str(citys_info[0]))  
    print city_com  
    data_map_all = [(getRealName(city_com['cityName'][i], citysJson),city_com['count'][i]) for i in range(0,city_com.shape[0])]  
    data_map_list = {}  
    for item in data_map_all:  
        if data_map_list.has_key(item[0]):  
            value = data_map_list[item[0]]  
            value += item[1]  
            data_map_list[item[0]] = value  
        else:  
            data_map_list[item[0]] = item[1]  
    data_map = [(realKeys(key), data_map_list[key] ) for key in data_map_list.keys()]

漫威电影一直深受中国朋友们喜欢的高分电影。豆瓣评分 8.7 分,那我们的评论用户中,又是一个什么样的趋势呢?见下图:

评分数

从图中可以看到,评 5 分的数量远高于其他评分,可见中国的观众朋友确实喜欢漫威的科幻电影。

复联从 1 开始便是漫威宇宙各路超级英雄的集结,到现在的第 4 部,更是全英雄的汇聚。那么,在这之中,哪位英雄人物更受观众欢迎?先看代码:

attr = ["灭霸","美国队长",  
        "钢铁侠", "浩克", "奇异博士",  "蜘蛛侠", "索尔" ,"黑寡妇",   
        "鹰眼", "惊奇队长", "幻视",  
        "猩红女巫","蚁人", "古一法师"]  
  
alias = {  
    "灭霸": ["灭霸", "Thanos"],  
    "美国队长": ["美国队长", "美队"],  
    "浩克": ["浩克", "绿巨人", "班纳", "HULK"],  
    "奇异博士": ["奇异博士", "医生"],  
    "钢铁侠": ["钢铁侠", "stark", "斯塔克", "托尼", "史塔克"],  
    "蜘蛛侠": ["蜘蛛侠","蜘蛛","彼得", "荷兰弟"],  
    "索尔":["索尔", "雷神"],  
    "黑寡妇": ["黑寡妇", "寡姐"],  
    "鹰眼":["鹰眼","克林顿","巴顿","克林特"],  
    "惊奇队长":["惊奇队长","卡罗尔", "惊奇"],  
    "星云":["星云"],  
    "猩红女巫": ["猩红女巫", "绯红女巫", "旺达"],  
    "蚁人":["蚁人", "蚁侠", "Ant", "AntMan"],  
    "古一法师": ["古一", "古一法师", "法师"]  
}  
v1 = [getCommentCount(getAlias(alias, attr[i])) for i in range(0, len(attr))]  
bar = Bar("Hiro")  
bar.add("count",attr,v1,is_stack=True,xaxis_rotate=30,yaxix_min=4.2,  
    xaxis_interval=0,is_splitline_show=True)  
bar.render("html/hiro_count.html")

运行结果如下图,可以看到钢铁侠钢铁侠是实至名归的 C 位,不仅电影在电影中是,在评论区仍然也是实至名归的 C 位,甚至于远超美队、寡姐和雷神:

英雄评论次数

从以上观众分布和评分的数据可以看到,这一部剧,观众朋友还是非常地喜欢。前面,从猫眼拿到了观众的评论数据。现在,笔者将通过 Jieba 把评论进行分词,然后通过 Wordcloud 制作词云,来看看,观众朋友们对《复联》的整体评价:

词云分析

可以看到,灭霸和钢铁侠出现的词频比其他英雄要高很多。这是否表示,这部剧的主角就是他们两个呢?

细心的朋友应该发现了,钢铁侠、灭霸的数量在词云和评论数量里面不一致。原因在于,评论数量就按评论条数来统计的,而词云中,使用的是词频,同一条评论中,多次出现会多次统计。所以,灭霸出现的次数居然高于了钢铁侠。

最后,再来分析一下钢铁侠与灭霸的情感分析,先上代码:

def emotionParser(name):  
    conn = conn = sqlite3.connect("end.db")  
    conn.text_factory = str  
    cursor = conn.cursor()  
    likeStr = "like \"%" + name + "%\""  
    cursor.execute("select content from convertData where content " + likeStr)  
    values = cursor.fetchall()  
    sentimentslist = []  
    for item in values:  
        sentimentslist.append(SnowNLP(item[0].decode("utf-8")).sentiments)  
    plt.hist(sentimentslist, bins=np.arange(0, 1, 0.01), facecolor="#4F8CD6")    
    plt.xlabel("Sentiments Probability")                                         
    plt.ylabel("Quantity")                                                       
    plt.title("Analysis of Sentiments for " + name)                                          
    plt.show()  
    cursor.close()  
    conn.close()

此处,使用 SnowNLP 来进行情感分析。

情感分析,又称为意见挖掘、倾向性分析等。简单而言,是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。

灭霸

钢铁侠

从图中看到, 钢铁侠的正向情感要比灭霸的正向情感要高,反派角色就是容易被人抗拒。

最最后,从《银河护卫队》时期穿越而来的灭霸在最后分钟变成了粉末消散而去,这也给我们程序员一个警钟:

重构代码,改善设计,降低系统复杂度,这样做很好。但是,一定要保证系统的稳定运行,不留安全隐患,不然,早晚会丢掉自己的工作。
本文转自网络,如有侵权,请联系删除。

学习资源推荐

除了上述分享,如果你也喜欢编程,想通过学习Python获取更高薪资,这里给大家分享一份Python学习资料。

这里给大家展示一下我进的兼职群和最近接单的截图

兼职群

私单

😝朋友们如果有需要的话,可以点击下方链接领取或者V扫描下方二维码联系领取

🎁 优快云大礼包,二维码失效时,点击这里领取👉:【学习资料合集&相关工具&PyCharm永久使用版获取方式】

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

image-20230619144606466

因篇幅有限,仅展示部分资料,添加上方即可获取
深入解析FDTD Script中的farfieldpolar3d命令:复电场计算与应用 本文深入解析了FDTD仿真中`farfieldpolar3d`命令的核心功能与应用。作为`farfield3d`的复数版本,该命令能计算并返回球坐标系下的复电场矢量,完整保留振幅与相位信息,为光学天线设计、近远场变换及偏振态分析等高级应用提供了关键数据基础。 阅读详情

相关推荐

麒麟V10 SP3国产化环境部署MySQL 8.0全流程实战

本文详细介绍了在国产化操作系统麒麟V10 SP3上部署MySQL 8.0的全流程实战指南。从环境准备、冲突排查到安装包处理、服务配置与安全加固,提供了详细的命令和技巧,帮助用户顺利完成MySQL 8.0的部署与优化,适用于国产化环境下的数据库应用。

weixin_29231027的博客 274

用Python分析9万条数据告诉你复仇者联盟谁才是绝对C 位!

01 抓取数据 业界朋友们,在电影分析中,使用猫眼的数据比较多。在本文中,笔者也使用了猫眼的接口来获取数据,方便处理,数据量也比较多。 有关接口,大家可以自己去猫眼的网站上看,也可以使用如下地址: http://m.maoyan.com/mmdb/comments/movie/248172.json?_v_=yes&offset=20&startTime=2019-04-...

python学习者的博客 790

“三进制”bonsai27b+NInfer=6g显存闪电侠(token真的自由了!)

本文将1.58-bit三元大模型Bonsai27B成功移植至NInfer推理引擎,并在RTX 4080 SUPER上实现100+ token/s的极速推理。通过自研补丁扩展NInfer支持Ada架构与三元量化格式,解决激活布局、行置换等关键bug,实测PPL 6.445,单流吞吐达96.7–130.8 t/s,20题基准得分16/20。附完整复现包(含文档、工具、源码补丁),零权重分发,助力垃圾显卡跑通27B级模型。

shensanshu的博客 1万+

用Python分析9万条数据告诉你复仇者联盟谁才是绝对C 位!_复仇者联盟的成员也是有工资的 python

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

2301_79099373的博客 761

ThinkBook 16 2024 Ubuntu驱动全攻略:从无线网卡到触控板

本文详细介绍了ThinkBook 16 2024在Ubuntu系统下的驱动问题解决方案,涵盖无线网卡、蓝牙、显卡和触控板等关键硬件的驱动修复步骤。通过具体命令和配置指南,帮助用户快速解决兼容性问题,提升Ubuntu在ThinkBook上的使用体验。

weixin_29200741的博客 830

TI AWR2944毫米波雷达开发板开箱:用官方Demo快速上手3D点云与热图生成

本文详细介绍了TI AWR2944毫米波雷达开发板的开箱与实战应用,包括硬件准备、软件开发环境搭建、Demo固件刷写与配置、实时可视化与数据解析等全流程指南。通过官方Demo快速上手3D点云与热图生成,帮助开发者高效掌握毫米波雷达技术在工业检测、智能交通等领域的应用。

weixin_42627853的博客 312

用Python分析9万条数据告诉你复仇者联盟谁才是绝对C 位!_复仇者联盟的成员也是有工资的 python(1)

不知道你们用的什么环境,我一般都是用的Python3.6环境和pycharm解释器,没有软件,或者没有资料,没人解答问题,都可以免费领取(包括今天的代码),过几天我还会做个视频教程出来,有需要也可以领取~给大家准备的学习资料包括但不限于:Python 环境、pycharm编辑器/永久激活/翻译插件python 零基础视频教程Python 界面开发实战教程Python 爬虫实战教程Python 数据分析实战教程python 游戏开发实战教程Python 电子书100本。

m0_60635321的博客 638

k8s 不同node之间pod ip不通

底层k8s使用calico网络,ipip网络模式,kubevirt启动了2台虚拟机;在这两台虚拟机上再搭建k8s,calico网络,ipip网络模式。说明:我是使用helm安装的calico,改这个模式要改crd资源ippools。其他方式安装的calico修改方法可能不一样。在虚拟机上的k8s上启动了2个pod,分布在不同的node上,这两个pod不能ping通对方的pod ip。修改虚拟机之上的k8s集群的calico网络的ipipMode为Never即可,之前使用的是Always。

weixin_40548182的博客 4056

Python分析9万条数据告诉你复仇者联盟谁才是绝对C位

作者 | 罗昭成责编 | 唐小引转载自优快云(ID:优快云news)《复联 4》国内上映第十天,程序员的江湖里开始流传这样一个故事,即:漫威宇宙,其实就讲了一件事情。...

AI科技大本营 2456

uni-app - 修改默认端口,H5 项目控制台运行出来的 IP 地址的默认端口号(H5 项目运行后控制台,修改项目运行到内置浏览器默认 8080 端口号)

uni-app运行到H5修改默认端口号,uni-app如何修改默认端口,uni-app修改默认端口,uni-app本地运行修改调试已上线微信H5项目,请问在UNIAPP的H5运行调试时候的IP是否可以自己设置固定,uni-app开发环境,如何设置h5服务器的端口,uni-app如何修改默认端,uni-app修改默认端口,uni-app指定端口号,uni-app-修改H5项目控制台运行出来的IP地址的默认端口号(H5项目运行后控制台,修改项目运行到内置浏览器默认8080端口号)

🏆 前端领域优质创作者 9888

2026年全国青少年信息素养大赛算法应用主题赛C++赛项【决赛】模拟卷1:文末附答案

2026年全国青少年信息素养大赛算法应用主题赛C++赛项【决赛】模拟卷1:文末附答案

王老师青少年编程 1184

复仇者联盟谁才是绝对 C 位?Python分析9万条数据告诉你答案

作者 | 罗昭成 责编 | 唐小引 《复联 4》国内上映第十天,程序员的江湖里开始流传这样一个故事,即:漫威宇宙,其实就讲了一件事情。整个宇宙就好比一个项目组。其中有一群叫作美国队长、钢铁侠、惊奇队长、浩克、索尔等人在维护这个项目,兢兢业业的维护整个项目。 某一天,出现了一个天才程序员,叫灭霸。当他加入到这家公司的时候,他意识到,这个项目已经非常庞大,仅仅是编译,就要几个小时。运行起来负重累累。...

CDA数据分析师 483

【UVM实战】第七章:UVM中的寄存器模型(1)寄存器模型简介

寄存器模型简介~

悟已往之不谏 知来者之可追 2073

GloVe词向量解析电影剧情语义的实战指南

词向量是自然语言处理中将词语映射为稠密数值向量的基础技术,其核心在于通过统计共现关系建模语义相似性与类比结构。GloVe(Global Vectors)凭借全局共现矩阵与对数概率拟合机制,在短文本、高隐喻、多专有名词的电影剧情分析场景中展现出优于Word2Vec的语义一致性与跨影片泛化能力。该技术无需标注数据、不依赖大模型,以轻量级计算实现可解释的语义度量,广泛应用于剧情相似检索、类型标签扩展、情感弧线建模及跨文化叙事对比等工业级任务。本文聚焦GloVe在电影剧情文本上的端到端落地实践,涵盖清洗策略、维度选

weixin_33895657的博客 557

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

weixin_53637133的博客 187

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

【第 009 讲】全面掌握 Python 注释:注释的定义与作用 | 单行注释 | 三引号与多行注释 | 注释使用的最佳实践

本文系统讲解 Python 注释的完整知识体系:从注释的定义与作用讲起,梳理单行注释的书写位置、临时屏蔽用法与 PEP 8 排版规范,剖析注释被忽略的底层机制;进而说明三引号字符串的本质与嵌套问题;最后给出注释使用的三条实践原则,帮助读者写好可读性高的注释。

大模型全栈工程师 · Thanks_ks 1210

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上

⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。

源码获取 | 运行部署 | 定制二开修改,如果回复不及时请耐心等待,请见谅。 450

Python 的 yield from 到底转发了什么:拆开 send、throw 和那个 return 值

很多人把yield from记成「省一层 for 循环的语法糖」。写和写,结果看着一样,于是就当它只是少敲几个字。这个理解会在三个地方翻车:调用方.send()的值送不进去、子生成器return的值拿不到、异常和close()传不下去。yield from真正做的事是,外层生成器退成一个透明通道。本文所有输出来自本机 CPython 3.13.14 实测。yield from不是循环,是委托——nextsendthrowclose四个方向的流量全部直通子生成器,并且子生成器return。

小小张说故事的博客 164
上一篇: 项目分享丨20行Python代码,无损压缩千百张图片!
下一篇: Python国庆头像制作
大模型应用场景
博客等级 码龄5年 7683粉丝 1350原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值