55、概率判别模型：迭代加权最小二乘法与多类逻辑回归

概率判别模型：迭代加权最小二乘法与多类逻辑回归

1. 迭代加权最小二乘法（Iterative Reweighted Least Squares）

1.1 线性回归与封闭解

在某些线性回归模型中，假设噪声服从高斯分布，使用最大似然估计可以得到封闭解。这是因为对数似然函数对参数向量 $w$ 呈二次依赖关系。例如对于线性回归模型，在使用平方和误差函数时，梯度和海森矩阵分别为：
- 梯度：$\nabla E(w) = \sum_{n=1}^{N}(w^T\varphi_n - t_n)\varphi_n = \Phi^T\Phi w - \Phi^Tt$
- 海森矩阵：$H = \nabla\nabla E(w) = \sum_{n=1}^{N}\varphi_n\varphi_n^T = \Phi^T\Phi$

其中，$\Phi$ 是 $N \times M$ 的设计矩阵，其第 $n$ 行由 $\varphi_n^T$ 给出。使用牛顿 - 拉夫森方法更新参数时，更新公式为：
$w_{new} = w_{old} - (\Phi^T\Phi)^{-1}(\Phi^T\Phi w_{old} - \Phi^Tt) = (\Phi^T\Phi)^{-1}\Phi^Tt$

由于误差函数是二次函数，牛顿 - 拉夫森公式在一步内就能给出精确解。

1.2 逻辑回归与非封闭解

对于逻辑回归，由于逻辑 sigmoid 函数的非线性，不再有封闭解。不过，误差函数偏离二次形式的程度并不显著。实际上，误差函数是凸函数，因此有唯一的最小值。可以使用基于牛顿 - 拉夫森迭代优化方案的高效迭代技术来最小化误差函数，该方案使用对数似然函