12、核规则：原理、一致性与证明

核规则：原理、一致性与证明

1. 引言

在分类规则中，直方图规则存在一定的局限性，即在划分单元的边界处准确性不如单元中间部分。这是因为在关于单元中心的决策中，靠近单元边界的点应具有较小的权重。为解决这一问题，引入了移动窗口规则，它比直方图规则更平滑。

2. 移动窗口规则与核分类规则

• 移动窗口规则 ：该分类器选取待分类点一定距离内的数据点，通过多数投票来做出决策。设 (h) 为正数，移动窗口规则定义为：
  [
  g_n(X) =
  \begin{cases}
  0 & \text{if } \sum_{i=1}^{n} I_{ {y_i=0,x_i\in S_{x,h}}} \geq \sum_{i=1}^{n} I_{ {y_i=1,x_i\in S_{x,h}}} \
  1 & \text{otherwise}
  \end{cases}
  ]
  其中 (S_{x,h}) 表示以 (x) 为中心、半径为 (h) 的闭球。
• 核分类规则 ：为使决策更加平滑，可以给较近的点赋予比远处的点更大的权重。设 (K: R^d \to R) 是一个核函数，通常是非负的，并且沿从原点出发的射线单调递减。核分类规则为：
  [
  g_n(X) =
  \begin{cases}
  0 & \text{if } \sum_{i=1}^{n} I_{ {y_i=0}} K(\frac{X - X_i}{h}) \g