局部加权回归LOWESS

1. LOWESS

用kNN做平均回归：

\[\hat{f(x)} = Ave(y_i | x_i \in N_k(x)) \]

其中，\(N_k(x)\)为距离点x最近k个点组成的邻域集合(neighborhood set)。这种邻域平均回归存在很多缺点：

• 没有考虑到不同距离的邻近点应有不同的权重；
• 拟合的曲线不连续(discontinuous)，如下图。

因此引入kernel加权平滑：

\[\hat{f(x_0)} = \frac{ \sum_{i=1}^{N} K_{\lambda}(x_0, x_i)y_i }{\sum_{i=1}^{N} K_{\lambda}(x_0, x_i)} \]

比如，Epanechnikov 二次kernel：

\[K_{\lambda}(x_0, x_i) = D(\frac{|x_0 - x_i|}{\lambda}) \]

\[D(t) = \left \{ { \matrix { {\frac{3}{4} (1-t^2) } & {for |t| < 1} \cr { 0} & {otherwise} \cr }