25、神经网络超参数搜索与循环神经网络详解

神经网络超参数搜索与循环神经网络详解

1. 超参数搜索

超参数搜索是为模型寻找最佳超参数组合的过程。常见的超参数搜索方法有网格搜索和随机搜索。
- 网格搜索 ：
- 为每个超参数指定一组候选值。
- 针对指定超参数的每一种组合构建模型，并评估每个模型的性能。
- 选择在开发集上表现最佳的组合作为最终的超参数配置。
- 优点是使用简单，但计算成本高。
- 随机搜索 ：考虑超参数的随机组合，而不是穷举所有组合，效率更高。

在调整离散线性统计模型时，特征工程可能是最耗时的部分；而在调整神经网络模型时，超参数搜索可能是最耗时的。

2. 神经网络基础模型

• 多层感知机（MLP）和深度神经网络 ：多层感知机是一种基本的神经网络结构，深度神经网络则在此基础上增加了更多的隐藏层，以提高模型的表达能力。
• 卷积神经网络（CNN）用于文本分类 ：CNN 可以学习文本的 n - 元组的强非线性表示，常用于文本分类任务。
• 残差网络、Dropout 和层归一化 ：
  • 残差网络用于训练深度网络，通过短路连接解决梯度消失问题。
  • Dropout 是一种简单的防止神经网络过拟合的方法。
  • 层归一化用于改善深度网络的训练效果。
• 带动量的随