7、机器学习中的成本函数与误差分析

机器学习中的成本函数与误差分析

1. 正则化成本函数

在机器学习中，为了避免过拟合问题，常常会对成本函数进行正则化处理。常见的正则化方法有L1正则化、L2正则化以及潜在正则化。

• L1正则化 ：对于向量 $w \in R^n$，其L1范数定义为 $|w| 1 = \sum {i=1}^{n} |w_i|$。带有L1正则化的成本函数为 $L_1(w) = C(w) + \lambda |w|_1$，其中 $\lambda$ 是拉格朗日乘数（$\lambda > 0$），用于控制对小权重的偏好程度。不过，由于 $|w|_1$ 在零点不可微，常规的梯度方法在这种情况下可能无法正常工作。
• 潜在正则化 ：这是前两种正则化方法的推广。考虑一个函数 $U : R^n \to R^+$，满足：
  • 当且仅当 $x = 0$ 时，$U(x) = 0$；
  • $U$ 在 $x = 0$ 处有全局最小值。

当 $U$ 可平滑微分时，条件 (ii) 可由导数条件 $U’(0) = 0$ 和 $U’‘(0) > 0$ 推出。潜在函数 $U$ 是上述L1和L2范数的推广。正则化成本函数定义为 $G(w) = C(w) + \lambda U(w)$，其中 $\lambda > 0$。选择具有最佳正则化特性的最优潜在函数，可通过验证其对测试误差的影响来实现。若 $\epsilon_{test,1}$ 和 $\epsilon_{test,2}$ 分别是对应成本 $C(w