12、回归模型：从非线性到稀疏与对偶的深入探索

回归模型：从非线性到稀疏与对偶的深入探索

1. 非线性回归

在实际的数据关系中，数据 $x$ 与世界状态 $w$ 之间往往并非呈现简单的线性关系。以使用反正切函数进行非线性回归为例，过程如下：
- 原始数据的非线性关系：数据 $x$ 和状态 $w$ 之间的关系是非线性的。
- 向量转换：通过将原始观测值 $x$ 代入七个反正切函数，计算得到一个新的七维向量 $z$。
- 预测分布均值构建：预测分布的均值（如图中的红线）可由这七个函数的加权线性和构成，其中最优权重通过最大似然法确定。
- 最终分布：最终的分布 $Pr(w|x)$ 的均值是这些加权函数的总和，且具有恒定的方差。

2. 贝叶斯非线性回归

在贝叶斯方法中，非线性基函数的权重 $\varphi$ 被视为不确定的。学习过程中，我们计算这些权重的后验分布。对于新的观测值 $x^ $，需计算转换后的向量 $z^ $，并对可能的参数值所对应的预测进行无限加权求和。预测分布的新表达式为：
$Pr(w^ |z^ ,X,w)$
$= Norm_w\left[\frac{\sigma_p^2}{\sigma^2}z^{ T}Zw - \frac{\sigma_p^2}{\sigma^2}z^{ T}Z\left(Z^TZ + \frac{\sigma^2}{\sigma_p^2}I\right)^{-1}Z^T Zw, \sigma_p^2z^{ T}z^ - \sigma_p^2z^{ T}Z\left(Z^TZ + \frac{\sigma^2}{\sigma_p^2}I\r