6、非线性回归与 ℓ2 正则化详解

非线性回归与 ℓ2 正则化详解

1. 非线性回归与 ℓ2 正则化概述

在之前的线性回归中，一些数据集的非线性关系可通过非线性特征变换确定，变换后相关成本函数仍是凸的且参数线性相关。而本节将探讨使用非线性模型进行回归的情况，此时对应的成本函数是非凸的，输入输出关系在参数上也是非线性的，这就是非线性回归。同时，还会引入一种常用工具——ℓ2 正则化器，它能部分改善非凸成本函数带来的实际不便。

为了清晰阐述，我们以逻辑回归这一经典示例来讨论非线性回归和 ℓ2 正则化。

2. 逻辑回归

2.1 逻辑 S 型函数

逻辑回归的核心是逻辑 S 型函数，其数学定义为：
[
\sigma (t) = \frac{1}{1 + e^{-t}}
]
其中 (t) 可以取任意实数值。该函数由数学家皮埃尔·弗朗索瓦·韦吕勒在 19 世纪早期发明，用于模拟生物种群随时间的增长情况。由于生物生存系统的资源有限，种群增长会有一个饱和上限。在初始阶段，种群增长呈指数趋势，达到饱和水平后，由于资源匮乏（如空间、食物等），增长会趋于稳定。

逻辑 S 型函数的输出始终介于 0 和 1 之间。当增加 S 型函数 (\sigma (wt)) 的权重 (w) 时，它会越来越接近一个“阶跃函数”，即只取 0 和 1 两个值，且在两者之间有一个急剧的过渡。

2.2 逻辑回归方程

如果一个包含 (P) 个点的数据集 ({x_p, y_p} {p = 1}^P) 大致呈 S 型函数分布，那么该数据满足：
[
\sigma (b + x_pw) \appro