29、卷积神经网络与循环神经网络技术解析

卷积神经网络与循环神经网络技术解析

卷积神经网络（CNN）案例研究

在CNN的研究中，有多个关键发现值得关注。

1. 模型结构与性能关系

   • 多层和多滤波器似乎能将准确率和平均精度提高超过2%。
   • 使用在数据中训练的预训练嵌入能带来出色的性能，这与许多研究结果相符。
   • 在基于单词的表示中，多组范数约束MG - CNN在准确率和平均精度方面表现最佳。使用三个嵌入通道，结合两种不同大小的不同嵌入似乎更具优势。
   • 具有两个通道的Yoon Kim模型性能排名第二，这表明它在分类问题中始终是值得尝试的模型。双通道与MG - CNN的结合证实了增加通道数量总体上有助于模型性能提升。
   • 增加CNN的深度和复杂度以及参数数量对泛化能力影响不大，这可能是由于训练数据规模较小。
   • 基于字符的表示性能相对较差，这与大多数研究一致，原因在于语料库和训练规模有限。
   • 结合CNN和LSTM引入复杂度并不能提升性能，这同样可归因于任务复杂度和训练数据规模。

2. 理解和改进模型

   • 可视化分析 ：可以通过某种降维和可视化技术查看各层的预测来理解模型行为。例如，为探索分类层前倒数第二层的行为，可先移除最后一层创建模型副本，使用测试集生成该层的高维输出，然后用PCA从128维输出中提取30个成分，最后使用TSNE进行投影。从