6.3.1 Nadaraya-Watson模型（PRML读书笔记）

最新推荐文章于 2023-09-24 16:14:00 发布

笑看风云之变换

最新推荐文章于 2023-09-24 16:14:00 发布

阅读量4.8k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：机器学习 PRML读书笔记文章标签：核回归

本文链接：https://blog.youkuaiyun.com/flyhigher1983/article/details/89224916

机器学习同时被 2 个专栏收录

12 篇文章

订阅专栏

PRML读书笔记

12 篇文章

订阅专栏

本文深入探讨了核回归模型，从核密度估计出发，详细解析了Nadaraya-Watson模型的形成过程，揭示了局部核函数如何赋予近点较高权重的机制，并讨论了核函数的加和限制条件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在3.3.3节，我们看到，对于新的输⼊ $x$ ，线性回归模型的预测的形式为训练数据集的⽬标值的线性组合，组合系数由“等价核”（3.62）给出，其中等价核满⾜加和限制（3.64）。
我们可以从核密度估计开始，以⼀个不同的角度研究核回归模型（3.61）。假设我们有⼀个训练集 ${xn,tn}\{\textbf{x}_n, t_n\}$ ，我们使⽤Parzen密度估计来对联合分布 $p (x, t)$ 进⾏建模，即
在这里插入图片描述
其中 $f(x,t)f(\textbf{x},t)$ 是分量密度函数，每个数据点都有⼀个以数据点为中⼼的这种分量。我们现在要找到回归函数 $y(x)y(\textbf{x})$ 的表达式

简单起见，我们现在假设分量的密度函数的均值为零（对所有 $x\textbf{x}$ 都成立），即
在这里插入图片描述
使⽤⼀个简单的变量替换，我们有（公式6.45的推导见附录“公式推导”）

其中 $n, m = 1, . . ., N$ ，且核函数 $k(x,xn)k(\textbf{x}, \textbf{x}_n)$ 为

其中

公式（6.45）给出的结果被称为Nadaraya-Watson模型，或者称为核回归。对于⼀个局部核函数，它的性质为：给距离 $x\textbf{x}$ 较近的数据点 $xn\textbf{x}_n$ 较⾼的权重(如何看出这一点的）。注意，核（6.46）满⾜加和限制
在这里插入图片描述

附录

公式推导

公式6.43如何推导到公式6.45
先看公式6.43的分母，由公式6.47，很容易得
$∑m∫f(x−xn,t−tn)dt=∑mg(x−xn)\sum_{m}{\int{f(\textbf{x}-\textbf{x}_n,t-t_{n})dt}}=\sum_{m}g(\textbf{x}-\textbf{x}_n)$ 再看分子
$\sum_{n}{\int{tf(\textbf{x}-\textbf{x}_n,t-t_{n})dt}}$ 做变量替换 $l=t-t_{n}$ ，得 $t=l+t_{n}$ ， $d t = d l$ ，于是
$∑n∫tf(x−xn,t−tn)dt=∑n∫(l+tn)f(x−xn,l)dl=∑n∫lf(x−xn,l)dl+∑n∫tnf(x−xn,l)dl=∑ng(x−xn)tn\sum_{n}{\int{tf(\textbf{x}-\textbf{x}_n,t-t_{n})dt}}=\sum_{n}{\int{(l+t_{n})f(\textbf{x}-\textbf{x}_n,l)dl}} \\ =\sum_{n}{\int{lf(\textbf{x}-\textbf{x}_n,l)dl}}+\sum_{n}{\int{t_{n}f(\textbf{x}-\textbf{x}_n,l)dl}} \\=\sum_{n}g(\textbf{x}-\textbf{x}_n)t_n$