机器学习经典算法：添加模型正则化提高泛化能力（岭回归）

正文

模型正则化 Regularization 是通过 约束模型参数值的大小 实现解决模型方差过大（过拟合）问题的一种 标准处理手段。通过模型正则化处理可以在保持模型具有较高复杂度的前提下 提高模型的泛化能力。

0、衡量向量的大小与长度（Lp范数）

Lp范数: 数学上表达为向量各个元素绝对值p次方和的1/p次方 $\Vert \vec{x}{\Vert }_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}}$；
该数学形式与 明可夫斯基距离 :$({\sum }_{i=1}^n|X_i^{(a)}-X_i^{(b)}{|}^p{)}^{\frac{1}{p}}$ 一致，当$p$取不同值时明可夫斯基距离可以具体化为不同的类型。

对于向量的Lp范数，其实度量的是 空间中向量到坐标原点的距离：

• 当 $p=1$ 时，L1范数 度量了向量到原点的 曼哈顿距离；
• 当 $p=2$ 时，L2范数 度量了向量到原点的 欧氏距离 ;
• 当 $p\to \infty$时，L∞范数 计算了向量中元素的绝对值最大值：$\Vert x{\Vert }_{\infty }=\max (|x_1|,|x_2|,\dots ,|x_n|)$；
    \,

一般数据分析领域几乎不会涉及 $p>2$ 的距离。

1、L2正则项的应用——岭回归（Ridge Regression）

在线性回归任务中，寻找最优参数的优化目标为
使得    ∑ i = 1 m ( y ( i ) − y ^ ( i ) ) → ∑ i = 1 m ( y ( i ) − θ 0 − θ 1 x 1 ( i ) − . . . − θ n x n ( i ) ) → M S E ( y ( i