10、回归模型全解析：从线性到非线性的探索之旅

回归模型全解析：从线性到非线性的探索之旅

1. 回归问题概述

回归问题的核心目标是基于观测测量值 (x) 来估计单变量的世界状态 (w)。这里主要聚焦于判别式方法，即直接对世界状态的分布 (Pr(w|x)) 进行建模，这与生成式模型有所不同，生成式模型着重对观测值的似然 (Pr(x|w)) 进行建模。

以人体姿态估计为例，其目标是根据未知姿态的人体图像，估计人体的关节角度。首先对图像进行预处理，提取出代表轮廓形状的低维向量 (x)，然后利用该数据向量预测包含主要身体关节角度的向量 (w)。实际操作中，会分别估计每个关节角度，因此重点在于探讨如何从连续的观测数据 (x) 中估计单变量 (w)。

2. 线性回归

2.1 线性回归的目标与模型

线性回归旨在基于观测数据 (x) 预测世界状态 (w) 的后验分布 (Pr(w|x))。由于这是判别式模型，会先为世界状态 (w) 选择一个概率分布，并让参数依赖于数据 (x)。世界状态 (w) 是单变量且连续的，所以合适的分布是单变量正态分布。在这个模型中，正态分布的均值 (\mu) 是数据的线性函数 (\theta_0 + \theta^T x_i)，方差 (\sigma^2) 视为常数，其中 (\theta = { \theta_0, \theta, \sigma^2}) 是模型参数。(\theta_0) 可看作超平面的 (y) 截距，(\theta = [\theta_1, \theta_2, \ldots, \theta_D]^T) 的元素是相对于 (D) 个数据维度的梯度。

为简化后续表示，在每个数据向量 (x_i) 的开头添加 1，变为 ([1 x_i^T]^T)，