本文深入探讨了机器学习中过拟合的问题及其解决方案——正则化。过拟合表现为模型在训练数据上表现优异，但在未见过的数据上泛化能力差。当样本数少于特征数时，容易引发过拟合。正则化通过修改损失函数，引入惩罚项，如L1和L2正则化，来限制模型复杂度，避免过拟合。
不哔哔，机器学习里的正则化，它是为了解决过拟合提出的。
一 背景
正则化是为了解决过拟合问题而提出的。regularization，让它正常，不要那么不正常了，那么这个不正常体现在那里呢，目前[2020-5-15]来看，不就是它过拟合了，不像正常的那样了。
二 过拟合
过拟合是什么呢？
过拟合从字面意义上看，就是拟合过度了，什么才叫拟合过度呢？看下图。一个点，有好多情况，你得到的曲线，只适合某一种样本点，其他样本点适应性极差。
- 从数据角度分析：首先，
X
X
X是样本数据阵，它是一个
N*P维的矩阵，N表示的样本的数量，P维表示的是每一个样本的状态数，就是N个样本，每个样本是p维的。然后，理论上应该样本数N应该远大于样本的维数P，但是，实际中可能仅有几个样本，出现N<P的情况，那么就会造成过拟合 - 从数学角度分析：最小二乘法求得的 w = ( X T X ) − 1 X T Y w=(X^TX)^{-1}X^TY w=(XTX)−1XTY中式子 X T X X^TX XTX可能是不可逆的，就会直接造成过拟合。
解决过拟合的方法：
- 增加样本数量
- 特征选择/特征提取，实际就是降维，降低p的维数。PCA
- 正则化，对w约束，改变
w的形式，把 ( X T X ) − 1 (X^{T}X)^{-1} (XTX)−1改造成一个绝对可逆的式子。
正则化分为两种
- L1 -> Lasso
- L2 -> Ridge
三 过拟合Vs正则化
将不可逆变为可逆即为正则化
为什么需要正则化，首先正则化出现的背景是最小二乘法
w
=
(
X
T
X
)
−
1
X
T
Y
w=(X^TX)^{-1}X^TY
w=(XTX)−1XTY中式子
X
T
X
X^TX
XTX可能是不可逆的，从数学角度分析就是X为N*p维的矩阵，N表示样本数，p是Xi的状态向量数，在实际应用中，可能测得的样本数很少，出现了N<P的情况，即
X
T
X
X^TX
XTX不可逆，那么w就求不来。
这样不可逆会导致什么后果呢。答，会引起过拟合。因为如果样本数过少，那么拟合的方法就会有很多。出现错误的几率就会很高。
怎么解决这个问题提，答，引入正则化。正则化实际上就是给最小二乘法的损失函数(Loss Function)L(w)加一个框架，得到一个新的函数J(w)，其中
J
(
w
)
=
L
(
w
)
+
λ
P
(
w
)
J(w)=L(w)+\lambda P(w)
J(w)=L(w)+λP(w)。这样求出的w就会绝对可逆。
参考资料
[1] shuhuai008. 【机器学习】【白板推导系列】【合集 1～23】. bilibili. 2019.
https://www.bilibili.com/video/BV1aE411o7qd?p=9
扫一扫
1718
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
