34、回归的线性模型

回归的线性模型

1. 从无监督学习到监督学习与回归

此前关注的是无监督学习，包括密度估计和数据聚类等主题。现在转向监督学习的讨论，从回归开始。回归的目标是根据输入变量的 $D$ 维向量 $x$ 的值，预测一个或多个连续目标变量 $t$ 的值。在之前考虑多项式曲线拟合时，就已经遇到过回归问题的一个例子。多项式是一类广泛的函数（称为线性回归模型）的一个具体示例，这类模型的特点是可调整参数的线性函数，这也是接下来要关注的重点。

最简单形式的线性回归模型也是输入变量的线性函数。不过，通过对输入变量的一组固定非线性函数（即基函数）进行线性组合，可以得到更实用的函数类。这样的模型是参数的线性函数，这使得它们具有简单的分析性质，同时相对于输入变量可以是非线性的。

给定一个包含 $N$ 个观测值 ${x_n}$（其中 $n = 1, \cdots, N$）以及相应目标值 ${t_n}$ 的训练数据集，目标是预测新的 $x$ 值对应的 $t$ 值。

最简单的方法是直接构建一个合适的函数 $y(x)$，其对于新输入 $x$ 的值构成相应 $t$ 值的预测。更一般地，从概率的角度来看，目标是对预测分布 $p(t|x)$ 进行建模，因为这表达了对于每个 $x$ 值对应的 $t$ 值的不确定性。从这个条件分布中，可以以最小化适当选择的损失函数的期望值的方式，对任何新的 $x$ 值进行 $t$ 的预测。对于实值变量，常见的损失函数选择是平方损失，其最优解由 $t$ 的条件期望给出。

虽然线性模型作为模式识别的实用技术有显著的局限性，特别是对于涉及高维输入空间的问题，但它们具有良好的分析性质，并且为更复杂的模型奠定了基础。

2. 线性基函数模型 <