23、深度学习中的超参数调优与卷积神经网络基础

深度学习中的超参数调优与卷积神经网络基础

1. 超参数调优的思考

在进行超参数调优时，要充分运用自身经验，或者向有经验的人寻求帮助。不要浪费时间和资源去尝试那些已知不会有效的参数组合。例如，花时间测试极小的学习率比测试接近 1 的学习率更有价值。因为每一轮网络训练都需要耗费时间，即使结果可能没有用处。

调优的目的并非是得到可能的最佳模型，而是让你了解调优过程是如何进行的。你可以继续尝试不同的优化器（如 Adam），考虑更广泛的参数范围和更多的参数组合等。

径向基函数中的参数

径向基函数为 (K(x_i, x) = e^{-\frac{ {\lVert x - x_i \rVert}^2}{2\sigma^2 l^2}})，理解参数 (l) 的作用很重要。在示例中，选择 (l = 2)，原因如下：
- 若 (l) 过小，获取函数会在已知点周围形成非常狭窄的峰值。
- 若 (l) 过大，获取函数会有平滑效果。

通常，应避免 (l) 值过小或过大，以便在已知点之间实现平滑的方差变化。典型的 (l) 值在 1 或 2 左右。

2. 卷积神经网络与循环神经网络简介

传统的全连接网络在许多基础任务（如图像识别、语音识别、时间序列预测等）中表现不佳。而卷积神经网络（CNNs）和循环神经网络（RNNs）是目前常用的高级架构。

卷积神经网络的基本组件 - 核与滤波器

CNNs 的主要组件之一是滤波器，也称为核，通常是 (n_K \times n_K) 的方阵，(n_K) 一般是较小的数，如 3 或 5。下面定义四个不同的 3×3