24、深度学习：从模型优化到创意生成

深度学习：从模型优化到创意生成

1. 超参数优化

在构建深度学习模型时，我们会面临许多看似随意的决策，例如堆叠多少层、每层设置多少单元或滤波器、使用何种激活函数、是否在某层后使用批量归一化以及使用多少丢弃率等。这些架构层面的参数被称为超参数，以区别于通过反向传播训练的模型参数。

经验丰富的机器学习工程师和研究人员会逐渐形成关于这些选择的直觉，但并没有正式的规则。为了在给定任务上达到最佳效果，不能仅仅依赖人类的随意选择，因为初始决策往往不是最优的。虽然可以手动调整超参数并反复训练模型，但这一过程最好交给机器自动完成。

超参数优化的过程通常如下：
1. （自动）选择一组超参数。
2. 构建相应的模型。
3. 将模型拟合到训练数据上，并在验证数据上测量最终性能。
4. （自动）选择下一组要尝试的超参数。
5. 重复上述步骤。
6. 最终，在测试数据上测量性能。

这个过程的关键在于使用验证性能历史记录来选择下一组要评估的超参数的算法。常见的技术包括贝叶斯优化、遗传算法和简单随机搜索等。

训练模型的权重相对容易，只需在小批量数据上计算损失函数，然后使用反向传播算法将权重调整到正确的方向。然而，更新超参数却极具挑战性：
- 计算反馈信号（即这组超参数是否能在该任务上产生高性能的模型）可能非常昂贵，因为需要在数据集上从头开始创建和训练一个新模型。
- 超参数空间通常由离散决策组成，不连续且不可微，因此通常无法在超参数空间中进行梯度下降，只能依赖无梯度优化技术，而这些技术的效率远低于梯度下降。

由于这些挑战以及该领域仍处于发展初期，目前用于优化模型的工具非常