22、机器学习在情感分析中的应用

机器学习在情感分析中的应用

1. 训练用于文档分类的逻辑回归模型

我们可以基于词袋模型训练一个逻辑回归模型，将电影评论分为正面和负面评论。具体操作步骤如下：
1. 划分数据集 ：将清理后的文本数据文档的DataFrame划分为25,000个用于训练的文档和25,000个用于测试的文档。

X_train = df.loc[:25000, 'review'].values
y_train = df.loc[:25000, 'sentiment'].values
X_test = df.loc[25000:, 'review'].values
y_test = df.loc[25000:, 'sentiment'].values

2. 使用GridSearchCV寻找最优参数 ：使用5折分层交叉验证，寻找逻辑回归模型的最优参数集。

from sklearn.model_selection import GridSearchCV
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.feature_extraction.text import TfidfVectorizer

tfidf = TfidfVectorizer(strip_accents=N