Tikhonov regularization（L2正则化、岭回归）

L2正则化也是岭回归的基础。
默认已经掌握最小二乘/线性回归理论。
维基百科原文
岭回归百度百科

对于y=Xw，若X无解或有多个解，称这个问题是病态的。病态问题下，用最小二乘法求解会导致过拟合或欠拟合，用正则化来解决。

设X为m乘n矩阵：

• 过拟合模型：$m<<n$，欠定方程，存在多解的可能性大；
• 欠拟合模型：$m>>n$，超定方程，可能无解，或者有解但准确率很低