本文介绍了KIM2014的研究，该研究展示了如何使用简单的CNN结构结合预训练词向量（静态向量）进行句子分类。在微调超参数后，模型在情感分析和问题分类等任务上表现出色。TextCNN允许同时利用静态和任务特定的词向量，从而提高性能。实验结果表明，静态向量可以作为通用特征提取器，而微调词向量可以进一步提升效果。
Convolutional Neural Networks for Sentence Classification
1. Abstract
- 证实了：
- 一个简单的CNN结构 + 微调少许超参 + 静态向量 = 性能超好
- 在fine-tuning阶段学习task-specific向量能进一步提升性能
- 为了能同时使用静态向量和task-specific向量，对结构进行小调整，提出了Text CNN
- 在情感分析、问题分类等4个领域达到了十分好的效果
所谓静态向量就是指预训练好的词向量；task-specific向量是指词向量也可以在下游任务中，随着模型一同微调。
2. Introduction
- Kim之前利用预训练好的词向量（全程保持不变，也就是静态向量）加载到具体任务中，并只对模型的少许参数做微调，发现仿真结果也很好，证实了词向量可以作为一个通用的特征提取部件，并可被广泛用于各类分类任务中。当然从今天的角度来看，这已经是共识了。
- 不过Kim认为工作不止于此，如何在fine-tuning中学习task-specific向量更加重要。
3. Model
| k k k | x i ∈ R k x_i∈R^k xi∈Rk | n n n | ⊕ ⊕ ⊕ | 输入文本 |
|---|---|---|---|---|
| 词向量维度 | 输入文本第 i i i个词的词向量 | 输入文本长度（不足补全，超过截断） | 联接符 | x 1 : n = x 1 ⊕ x 2 ⊕ . . . ⊕ x n x_{1:n}=x_1⊕x_2⊕...⊕x_n x1:n=x1⊕x |
最低0.47元/天 解锁文章
扫一扫
1164
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
