6.3.1 Nadaraya-Watson模型（PRML读书笔记）

  在3.3.3节，我们看到，对于新的输⼊$x$，线性回归模型的预测的形式为训练数据集的⽬标值的线性组合，组合系数由“等价核”（3.62）给出，其中等价核满⾜加和限制（3.64）。
  我们可以从核密度估计开始，以⼀个不同的角度研究核回归模型（3.61）。假设我们有⼀个训练集{ xn,tn}\{\textbf{x}_n, t_n\}{ xn​,tn​}，我们使⽤Parzen密度估计来对联合分布$p(x,t)$进⾏建模，即

其中$f(\text{x},t)$是分量密度函数，每个数据点都有⼀个以数据点为中⼼的这种分量。我们现在要找到回归函数$y(\text{x})$的表达式

简单起见，我们现在假设分量的密度函数的均值为零（对所有$\text{x}$都成立），即

使⽤⼀个简单的变量替换，我们有（公式6.45的推导见附录“公式推导”）

其中$n,m=1,...,N$，且核函数$k(\text{x},{\text{x}}_n)$为

其中

公式（6.45）给出的结果被称为Nadaraya-Watson模型，或者称为核回归。对于⼀个局部核函数，它的性质为：给距离$\text{x}$较近的数据点