6、深度学习自然语言处理：从情感分析到聊天机器人构建

深度学习自然语言处理：从情感分析到聊天机器人构建

情感分析模型构建

1. 数据理解与预处理
   • 数据集介绍 ：采用来自烂番茄的电影评论数据集，约有 10000 个句子，词汇量约 20000 个，其中一半评论为积极，一半为消极。数据集存于 data 文件夹，包含 rt - polarity.neg（消极句子）和 rt - polarity.pos（积极句子）两个文件。为进行分类，需为句子关联标签，积极句子关联 [0, 1]，消极句子关联 [1, 0]。
   • 预处理步骤 ：
     1. 加载 ：确保加载积极和消极句子数据文件。
     2. 清理 ：使用正则表达式去除标点和其他特殊字符。
     3. 填充 ：通过追加 标记使每个句子长度相同。
     4. 索引 ：将每个单词映射到索引中的整数，使每个句子成为整数向量。
2. 集成 word2vec 与 CNN
   • 选择预训练模型 ：由于之前的 word2vec 模型训练语料较小，选择在大型语料上预训练的 word2vec 模型，如 fastText 嵌入。