15、正则化线性模型与逻辑回归

正则化线性模型与逻辑回归

1. 正则化线性模型概述

降低过拟合的一个有效方法是对模型进行正则化，即约束模型。对于多项式模型，减少多项式的次数是一种简单的正则化方法；对于线性模型，通常通过约束模型的权重来实现正则化。下面介绍几种常用的正则化线性模型。

1.1 岭回归（Ridge Regression）

岭回归（也称为 Tikhonov 正则化）是线性回归的正则化版本，它在均方误差（MSE）的基础上添加了一个正则化项 $\alpha \frac{1}{m} \sum_{i=1}^{n} \theta_{i}^{2}$，这迫使学习算法不仅要拟合数据，还要使模型权重尽可能小。需要注意的是，正则化项只应在训练期间添加到成本函数中，训练完成后，应使用未正则化的 MSE（或 RMSE）来评估模型性能。

岭回归的成本函数如下：
$J(\theta) = MSE(\theta) + \alpha \frac{1}{m} \sum_{i=1}^{n} \theta_{i}^{2}$

其中，偏置项 $\theta_{0}$ 不进行正则化（求和从 $i = 1$ 开始）。如果将 $w$ 定义为特征权重向量（$\theta_{1}$ 到 $\theta_{n}$），则正则化项等于 $\frac{\alpha(| w | {2}^{2})}{m}$，其中 $| w | {2}$ 表示权重向量的 $l_{2}$ 范数。

对于批量梯度下降，只需将 $\frac{2\alpha w}{m}$ 添加到 MSE 梯度向量中对应特征权重的部分，而不添加到偏置项的梯度中。

注意