12、回归模型深入解析：非线性、核技巧与稀疏性探索

回归模型深入解析：非线性、核技巧与稀疏性探索

1. 非线性回归

在许多实际问题中，数据 $x$ 与目标 $w$ 之间并非呈现简单的线性关系。以使用反正切函数进行非线性回归为例，其步骤如下：
- 数据转换 ：对于原始观测数据 $x$，通过七个反正切函数进行评估，计算得到一个新的七维向量 $z$。
- 预测分布均值构建 ：预测分布的均值（如图中的红线）可以通过对这七个函数进行加权线性求和得到，其中最优权重通过最大似然法确定。
- 最终分布 ：最终的分布 $Pr(w|x)$ 的均值是这些加权函数的和，且具有恒定的方差。

贝叶斯非线性回归

在贝叶斯方法中，非线性基函数的权重 $\varphi$ 被视为不确定的。在学习过程中，我们计算这些权重的后验分布。对于新的观测值 $x^ $，计算变换后的向量 $z^ $，并对可能的参数值对应的预测进行无限加权求和。预测分布的新表达式为：
[
Pr(w^ |z^ ,X,w) = Norm_w\left[
\frac{\sigma_p^2}{\sigma^2} z^{ T} Zw - \frac{\sigma_p^2}{\sigma^2} z^{ T} Z \left(Z^T Z + \frac{\sigma^2}{\sigma_p^2} I\right)^{-1} Z^T Zw,
\sigma_p^2 z^{ T} z^ - \sigma_p^2 z^{ T} Z \le