19、线性阈值机器：统计视角与算法实现

线性阈值机器：统计视角与算法实现

1. 统计视角下的线性阈值机器

在统计视角中，我们关注线性阈值机器的一些关键特性。

权重与特征关系 ：当 (x_1^2 = x_2^2) 时，权重 (w) 与 (x_1 - x_2) 成正比，且偏置 (b = 0)。并且在这种情况下，权重 (\hat{w}) 是 (\hat{X}’\hat{X}) 的特征向量，这与贝叶斯决策密切相关。

正则化的影响 ：考虑点围绕 (\mu_i) 和 (\mu_j) 聚类的分布问题，之前的奇异性会导致学习任务出现病态条件。通过分析矩阵 (\hat{X}’\hat{X}) 的谱结构，可以理解这种临界条件。由于数据的强聚类结构，特征向量的值趋近于相同，从而导致病态条件。
使用正则化后，解为 (\hat{w}^ = (\lambda I_d + \hat{X}’\hat{X})^{-1}\hat{X}’y)，其中 (\lambda \neq 0) 保证了矩阵可逆。当两类的样本数量相同时，即 (\ell_i = \ell_j)，解变为 (\hat{w}^ \propto (\lambda I_d + \hat{X}’\hat{X})^{-1}(x_i - x_j))。这与高斯假设下的贝叶斯决策相关，当 (P(I = i) = P(I = j)) 且 (\Sigma_i = \Sigma_j) 时成立。随着正则化参数 (\lambda) 的增加，病态条件消失，分离平面趋近于 ((x_i - x_j)’x = 0)。

LMS 在统计框架中的应用 ：LMS（最小均方