电影评论情感分析：基于Ernie-3.0的实践

最新推荐文章于 2025-06-11 18:10:46 发布
最新推荐文章于 2025-06-11 18:10:46 发布
阅读量358 收藏
点赞数
分类专栏： 2025年机器学习&深度学习千例 文章标签： python 开发语言 人工智能 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_68036862/article/details/131359510
版权
本文介绍了基于Ernie-3.0的电影评论情感分析实践，阐述了Ernie-3.0作为知识增强的预训练模型的优势，并详细展示了数据处理、模型导入、预训练和效果预测的过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

 什么是Ernie-3.0？

解压文件

更新nlp版本

数据基本处理

展示数据

模型介绍

ernie-3.0-medium-zh模型导入

模型预训练

训练效果可视化展示（训练集）

模型结果预测

效果展示

 什么是Ernie-3.0？

Ernie-3.0 是百度推出的一款大型预训练语言模型。与以往的BERT和GPT等模型不同，Ernie-3.0是一种"知识增强"的预训练模型，能够理解并使用多种类型的知识，包括词汇语义、实体关系、事件事实等。因此，Ernie-3.0在许多NLP任务上都表现出了强大的性能。

解压文件

In [4]

!unzip -oq /home/aistudio/data/data32015/Dataset.zip

更新nlp版本

In [ ]

# !pip install --upgrade paddlenlp

数据基本处理

利用paddlenlp.datasets中的 DatasetBuilder函数对数据进行处理

了解本专栏 订阅专栏 解锁全文
D.3 基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】
丨汀、的博客
07-28 1970
文本分类任务是自然语言处理中最常见的任务，文本分类任务简单来说就是对给定的一个句子或一段文本使用文本分类器进行分类。文本分类任务广泛应用于长短文本分类、情感分析、新闻分类、事件类别分类、政务数据分类、商品信息分类、商品类目预测、文章分类、论文类别分类、专利分类、案件描述分类、罪名分类、意图分类、论文专利分类、邮件自动标签、评论正负识别、药物反应分类、对话分类、税种识别、来电信息自动分类、投诉分类、广告检测、敏感违法内容检测、内容安全检测、舆情分析、话题标记等各类日常或专业领域中。,数据准备模型训练。....
最适合入门的100个深度学习项目
热门推荐
优快云 精品推荐
10-17 11万+
本专栏整理了《PyTorch深度学习项目实战100例》，内包含了各种不同的深度学习项目，包含项目原理以及源码，每一个项目实例都附带有完整的代码+数据集。
豆瓣影视评论中的情感分析研究
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
04-19 2002
在当前的互联网时代，大量的用户生成内容如评论、评价被持续产生。这些内容中蕴含了用户的情绪、观点等丰富的信息。情感分析，也被称为观点挖掘、倾向性分析，是从文本中提取，识别或者量化信息的一种自然语言处理技术。在电商、社交媒体、在线评分等方面具有广泛的应用。随着深度学习技术的发展，情感分析的研究已经取得了显著的进步。
Keras-深度学习-神经网络-电影评论情感分析模型
笔记
06-27 2135
使用到的数据集为IMDB电影评论情感分类数据集，该数据集包含 50,000 条电影评论，其中 25,000 条用于训练，25,000 条用于测试。每条评论被标记为正面或负面情感，因此该数据集是一个二分类问题。①导入所需的库。②通过调用函数加载 IMDB 电影评论数据集，并将其拆分为训练集和测试集，其中num_words参数指定了词汇表的大小，只选择出现频率最高的前 10000 个单词。③使用函数对训练集和测试集中的序列进行填充，使它们具有相同的长度。
Python实现某站热门评论情感分析----NLP自然语言处理
西小庄村高伟 的博客
08-18 2639
热门视频评论情感分析、自然语言处理、baidu-ai
百度ERNIE 3.0——中文情感分析实战
艰难困苦，玉汝于成。
07-14 4798
ERNIE（Enhanced Representation through kNowledge IntEgration）是百度研发的一种基于深度学习的预训练语言模型。它通过大规模的无监督学习从大量文本数据中学习语义和知识表示。
还在用BERT做文本分类？分享一套基于预训练模型ERNIR3.0的文本多分类全流程实例【文本分类】
风起云扬的博客
01-01 6908
文本分类任务是自然语言处理中最常见的任务之一。文本分类简单定义来说就是对给定的文本，可以是一句话、一段文本、一篇文章利用文本分类器进行分类和打标签。文本分类任务广泛应用于长短文本、情感分析、新闻分类、事件类型分类、政务信息分类、商品类型分类、文章类型分类、论文类别、专利领域、案件描述、罪名分类、意图分类、论文专利分类、邮件自动分类、评论类型分类、药物反应分类、对话分类、税收分类、投诉分类、广告检测、敏感违禁内容分类、内容安全检测、预情分析、话题分类等等日常或者专业领域中。
PaddleNLP基于ERNIR3.0文本分类以CAIL2018-SMALL数据集罪名预测任务为例【多标签】
2401_85373396的博客
05-29 1399
文本多标签分类是自然语言处理（NLP）中常见的文本分类任务，文本多标签分类在各种现实场景中具有广泛的适用性，例如商品分类、网页标签、新闻标注、蛋白质功能分类、电影分类、语义场景分类等。多标签数据集中样本用来自 n_classes 个可能类别的 m 个标签类别标记，其中 m 的取值在 0 到 n_classes 之间，这些类别具有不相互排斥的属性。通常，我们将每个样本的标签用One-hot的形式表示，正类用 1 表示，负类用 0 表示。
D.9“中国法研杯”司法人工智能挑战赛：基于UTC的多标签/层次分类小样本文本应用，Macro F1提升13%+
丨汀、的博客
05-19 4651
本项目提供基于通用文本分类 UTC（Universal Text Classification） 模型微调的文本分类端到端应用方案，打通数据标注-模型训练-模型调优-预测部署全流程，可快速实现文本分类产品落地。文本分类是一种重要的自然语言处理任务，它可以帮助我们将大量的文本数据进行有效的分类和归纳。实际上，在日常生活中，我们也经常会用到文本分类技术。例如，我们可以使用文本分类来对新闻报道进行分类，对电子邮件进行分类，对社交媒体上的评论进行情感分析等等。但是，文本分类也面临着许多挑战。
ERNIE3.0多标签多分类模型部署
qq_44497995的博客
06-01 1445
官方推荐只保存模型参数，但部署文档推荐方法需要完整模型，我就被卡住了，经过这几天提问，成功在百度的大佬帮助下解决了：只保存参数的模型部署请等待官方更新，保存完整模型文件的部署方式如下：注意我选择的是python端部署方式！！这是法研杯多分类实战案例的代码，我在它基础上进行的修改：【快速上手ERNIE 3.0】法律文本多标签分类实战 - 飞桨AI Studio动态图转为静态图的方法是以下链接的修改，看要是缺什么包自己从中复制过来：https://github.com/PaddlePaddle/PaddleNL
基于ERNIE3.0的中文评论分类
m0_63642362的博客
07-23 1151
通过PaddlePaddle的ERNIE套件，使用ERNIE3.0 预训练模型，ErnieClassification模型，快速实现中文评论分类。
ERNIE 3.0: Large-scale Knowledge Enhanced Pre-training for Language Understanding and ...（2021-7-5）
weixin_49346755的博客
10-11 713
为了解决单一自回归框架带来的问题，并探索大规模参数的知识增强预训练模型的性能，我们提出了一个名为ERNIE 3.0的统一框架，通过融合自回归网络和自编码网络，在由纯文本和大规模知识图谱组成的4TB语料库上训练大规模知识增强模型。提出的ERNIE 3.0可以通过zero-shot学习、few-shot学习或微调来处理自然语言理解任务和自然语言生成任务。此外，提议的框架支持在任何时候引入各种定制任务。这些任务共享相同的编码网络，并通过多任务学习进行训练。
C.1 百度飞桨：ERNIE 3.0 、通用信息抽取 UIE、paddleNLP的安装使用[一]
丨汀、的博客
05-30 7924
https://github.com/PaddlePaddle/PaddleNLPhttps://github.com/PaddlePaddle/PaddleNLP 1.安装paddle 参考官网：开始使用_飞桨-源于产业实践的开源深度学习平台 首先在anaconda下创建虚拟环境： conda create -n test python=3.8 #test为创建的虚拟环境名称 在安装paddle python -m pip install paddlepaddle==2.3.0 -..
《预训练周刊》第47期：屏蔽自编码器、结构化知识注入预训练、ERNIE 3.0
BAAIBeijing的博客
05-25 719
No.47智源社区预训练组预训练研究观点资源活动周刊订阅告诉大家一个好消息，《预训练周刊》已经开启“订阅功能”，以后我们会向您自动推送最新版的《预训练周刊》。订阅方法：方式1：扫描下面二维码，进入《预训练周刊》主页，选择“关注TA”。方式2：点击本文下方的“阅读原文”，进入《预训练周刊》Hub社区版，根据内附的详细订阅步骤，完成订阅。关于周刊本期周刊，我们选择了11篇预训...
评论观点抽取
weixin_33940102的博客
01-08 2018
  评论观点抽取自动抽取和分析评论观点,帮助您实现舆情分析、用户理解，支持产品优化和营销决策   功能介绍自动分析评论关注点和评论观点，并输出评论观点标签及评论观点极性。目前支持13类产品用户评论的观点抽取，包括美食、酒店、汽车、景点等，可帮助商家进行产品分析，辅助用户进行消费决策 https://ai.baidu.com/tech/nlp/comment_tag   接口说明 语音...
Python Day44 学习（日志Day12复习）
Y317429的博客
06-07 353
注：这里AI给出的“适用场景”存在问题。关于性别，为二分类问题，不需要使用独热编码。三分类以上才涉及独热编码。出现问题：忘记之前已对数据进行了独热编码，导致映射出来的值为空值。对信贷数据重新进行标签编码（回写昨日复习的代码）对信贷数据重新进行标签编码（回写昨日复习的代码）补充：对数据进行“归一化”和“标准化”的作用。补充：“独热编码”与“标签编码”的选择。
多任务——协程
ningmengjing_的博客
06-08 1085
Python协程编程指南 协程是Python异步编程的核心技术，通过async/await语法提供了一种比传统回调更优雅的解决方案。本文详细介绍了协程的工作原理、优势、使用场景及高级用法。 核心要点： 协程通过非阻塞机制解决I/O操作时的线程阻塞问题，实现单线程高并发 使用asyncio库创建事件循环，通过async定义协程，await挂起执行 协程在Web服务、数据库交互等I/O密集型场景性能显著优于同步编程 结合Task对象实现并发执行，通过回调或直接获取结果 可与线程池/进程池混合使用处理不支持协程的
Seaborn入门到上头：让数据可视化变成享受的艺术（附防秃指南）
最新发布
kernelcraft的博客
06-11 615
这个基于Matplotlib的统计绘图库，简直就是数据分析师的时尚造型师。悄悄说个骚操作：先用Seaborn画基础图，再用Matplotlib微调细节，效率颜值两不误！（重要的事情说三遍！）Matplotlib是必须的！Matplotlib是必须的！Matplotlib是必须的！最后送大家一句Seaborn哲学：如果一个图需要超过5句代码，那肯定有更优雅的写法！Seaborn是高级封装，Matplotlib是底层引擎。对角线放直方图，上半部分散点图，下半部分密度图——这才是探索数据关系的正确姿势！
Python 基础教程（十二）：12 .1 项目实践（简单计算器）
univerbright的博客
06-09 295
通过实际的小项目，将前面学到的 Python 基础语法、流程控制、函数定义、异常处理等知识进行综合运用。本章以几个循序渐进的小项目为例，帮助读者在实践中理解编程逻辑，提高编程能力。本项目实现一个基于命令行的简单计算器，支持加、减、乘、除四种基本运算，输入两个数字和运算符，即可返回运算结果。结果：12.0 / 3.0 = 4.0。请输入运算符 (+ - * /)：/请输入运算符 (+ - * /)：%无效的运算符，请重新输入。请输入第一个数字：12。请输入第二个数字：3。请输入第一个数字：7。
model = ppnlp.transformers.ErnieForSequenceClassification.from_pretrained('ernie-3.0-base-zh', num_classes=4) tokenizer = ppnlp.transformers.ErnieTokenizer.from_pretrained('ernie-3.0-base-zh')
07-13
这段代码使用了PaddlePaddleNLP库中的Ernie模型和相应的Tokenizer。下面是代码的解读： - 首先，通过调用`ppnlp.transformers.ErnieForSequenceClassification.from_pretrained()`函数创建了一个Ernie模型用于序列分类任务。`'ernie-3.0-base-zh'`是预训练模型的名称，表示使用Ernie 3.0基础中文模型。`num_classes=4`指定了模型要分类的类别数目，这里假设为4类。 - 接着，通过调用`ppnlp.transformers.ErnieTokenizer.from_pretrained()`函数创建了一个Ernie的Tokenizer。同样，`'ernie-3.0-base-zh'`是预训练模型的名称，表示使用Ernie 3.0基础中文模型。 总结起来，这段代码的作用是创建了一个Ernie模型和相应的Tokenizer，并指定了模型要分类的类别数目。通过预训练模型和Tokenizer，可以进行中文文本序列分类任务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

人工智能_SYBH

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值