11、非线性回归方法：核回归与局部加权多项式回归

非线性回归方法：核回归与局部加权多项式回归

1. 加权函数与核回归简介

在分析两个变量之间的关系时，逐点回归虽能捕捉到关系方向上的每一个转折点，但这些转折点往往反映的是样本特定的误差。因此，加权函数就显得十分有用，它可以对数据进行平滑处理。

核平滑回归是一种灵活的方法，用于将平滑曲线拟合到非线性数据上。它不是仅根据单个特定的 $X$ 值来估计对应的 $Y$ 值，而是使用周围点的加权分布。周围点的权重由所选的特定核函数决定。

核密度回归中，Nadaraya - Watson 核回归公式如下：
[
\hat{m}(x)=\frac{\sum_{i = 1}^{n}K\left(\frac{x - x_i}{h}\right)y_i}{\sum_{i = 1}^{n}K\left(\frac{x - x_i}{h}\right)}
]
其中，$K$ 是核函数，$h$ 是带宽（即平滑参数）。例如，应用高斯核平滑时，使用正态分布的概率密度函数来描述 $K$。带宽可以是固定的，也可以基于最近邻。固定带宽使用定义范围内的所有点，而最近邻带宽使用最接近感兴趣点的样本比例来创建估计值。

2. 在 R 中应用核回归

在 R 中，基于 Nadaraya - Watson 公式应用核回归的最简单方法是使用内置的 ksmooth 函数，它使用固定窗口带宽。以下是一个示例代码：

smooth.height <- ksmooth(age, height, bandwidth = 10, kernel = 'normal'