38、深度学习中的输出流形与正则化策略

深度学习中的输出流形与正则化策略

1. 多项式回归与正则化代价函数

在多项式回归中，不同阶数的多项式对数据的拟合效果差异显著。以通过 7 个点的多项式回归为例：
- 使用直线拟合会导致欠拟合，无法很好地捕捉数据的变化趋势。
- 使用二次多项式能实现较好的拟合，平衡了复杂度和拟合效果。
- 使用 7 次多项式则会出现过拟合，模型过于复杂，对训练数据的细节过度拟合，导致在新数据上的表现不佳。

为了避免过拟合，引入正则化代价函数：
[L(w) = C(w, b) + \lambda\lVert w\rVert^2]
其中，(\lVert\cdot\rVert) 通常是 L1 或 L2 范数。这种正则化的作用是在输出流形上寻找一个最优解，将解限制在一定的邻域内。

2. 选择最平坦的流形

对于固定维度的流形 (S)，存在多种对应的神经网络结构。从正则化的角度来看，为了降低测试误差，应选择流形 (S) 尽可能平坦的神经网络。这里的“平坦”指的是流形在目标空间 (\mathbb{R}^n) 中弯曲程度最小。

平坦性可以通过第二基本形式在几何上进行形式化描述。以下是两个例子：
- 平面的例子 ：在三维空间 (\mathbb{R}^3) 中，平面是平坦的，因为其法向量是一个常向量场，法向量方向的变化率为零，即形状算子为零。
- 平面曲线的例子 ：对于平面曲线 (c(s))，其单位切向量为 (T(s))，法向量为 (N(s))，法向量的变化率为 (N’(s) = -\kappa(s)T(s))，其中 (\kapp