局部加权回归LOWESS

1. LOWESS

用kNN做平均回归：
\[ \hat{f(x)} = Ave(y_i | x_i \in N_k(x)) \]
其中，\(N_k(x)\)为距离点x最近k个点组成的邻域集合（neighborhood set）。这种邻域平均回归存在很多缺点：

• 没有考虑到不同距离的邻近点应有不同的权重；
• 拟合的曲线不连续（discontinuous），如下图。

因此引入kernel加权平滑：
\[ \hat{f(x_0)} = \frac{ \sum_{i=1}^{N} K_{\lambda}(x_0, x_i)y_i }{\sum_{i=1}^{N} K_{\lambda}(x_0, x_i)} \]
比如，Epanechnikov 二次kernel：
\[ K_{\lambda}(x_0, x_i) = D(\frac{|x_0 - x_i|}{\lambda}) \]

\[ D(t) = \left \{ { \matrix { {\frac{3}{4} (1-t^2) } & {for |t| < 1} \cr { 0} & {otherwise} \cr } } \right. \]