论文Sequential Short-Text Classification with Recurrent and Convolutional Neural Networks 的实验部分

使用的基本模型结构：

结果和讨论

为了找到有效的超参数，我们每次只改变一个超参数，同时保持其他固定。表2显示我们的超参数选择。

我们对DSTC4，用谷歌新闻的word2vec预训练的300维的词向量初始化词向量。对MRDA和SwDA，用Glove和Twitter预训练的200维的词向量。因为这些选择能够在公开可达的word2vec，Glove，SENNA和RNNLM词向量上产生最好的结果。

对短文本和分类表示的原始尺寸d1和d2的影响在表3中呈现，用于LSTM和CNN模型。在两个模型中，增加d1的同时保持d2=0，能将性能提高1.3-4.2个百分点。相反，增加d2保持d1=0能产生更好的结果，但是性能增加的不是那么明显：在短文本表示级合并序列信息比在类别表示级更有效。

在短文本表示级和分类表示级使用序列信息在大多数情况下都不会有所帮助，甚至还可能会降低性能。我们假设短文本表示比分类表示包含更丰富和普遍的信息。因为前者维度更高。分类表示可能较短文本表示不会传达额外的信息，并且可能从前面错误的分类中传播错误。

表4是我们的结果和一些先进结果的比较。在总体上，我们的模型展现了可比的结果，然而不需要人工设计的特征。严格的比较很难绘制，比如文本预处理的许多重要细节，训练/验证/测试集可能不同，尽管训练过程中一部分的随机性，许多研究的执行失败了好几次，例如权重初始化。

展示的是在验证集上有最高精度时测试集上运行的结果。