基于MindSpore框架GPT实现情感分类

原创

已于 2024-08-09 16:16:17 修改 · 405 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#学习 #gpt #分类

于 2024-07-25 17:32:42 首次发布

IMDB数据集加载

数据加载可以使用：Mindspore框架循环神经网络RNN模型实现情感分类项目用同样的数据集
Mindspore框架循环神经网络RNN模型实现情感分类|（一）IMDB影评数据集准备

imdb_train, imdb_valid = imdb_train.split([0.7, 0.3])
imdb_train = imdb_train.batch(64, drop_remainder=True)
imdb_valid = imdb_valid.batch(64, drop_remainder=True)

也可以用mindspore封装好的IMDB：
tips：安装依赖

pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
pip install mindnlp
pip install jieba

使用load_dataset下载imdb

import os

import mindspore
from mindspore.dataset import text, GeneratorDataset, transforms
from mindspore import nn

from mindnlp.dataset import load_dataset

from mindnlp._legacy.engine import Trainer, Evaluator
from mindnlp._legacy.engine.callbacks import CheckpointCallback, BestModelCallback
from mindnlp._legacy.metrics import Accuracy

imdb_ds = load_dataset('imdb', split=['train', 'test'])
imdb_train = imdb_ds[