K近邻算法

基本原理

k近邻（k-nearest neighbor, k-NN）算法是一种基本分类与回归方法。本篇文章只讨论分类问题中的k近邻算法。
在k近邻算法中，假设给定一个训练数据集，其中的实例类别是确定的。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测这个新实例的类别。用一句谚语形容k近邻算法就是：“如果走像鸭子，叫像鸭子，看起来还像鸭子，那么它很可能就是一只鸭子”。
k近邻算法的输入为实例的特征向量，对应于特征空间的点；输出为实例的类别。k近邻算法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”，也就是说k近邻算法不具有显式的学习过程。
相比于决策树和基于规则的分类器的积极学习方法，k近邻算法是一种消极学习方法。在积极学习方法中，如果训练数据可用，它们就开始学习从输入特征到类别的映射模型；而消极学习方法推迟对训练数据的建模，直到需要分类测试实例时再进行。
k近邻算法的输入和输出可以描述如下：
输入：
（1）训练数据集
T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } T = \{(x_1, y_1), (x_2,y_2), ..., (x_m, y_m)\} T={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)}
其中，$x_i\in R^n$为实例的特征向量， y i ∈ { c 1 , c 2 , . . . , c p } y_i \in \{c_1, c_2, ..., c_p\} yi​∈{ c1​,c2​,...,cp​}为实例的类别。（即训练数据集有m个实例，每个实例特征向量为n维，实例有p个类别）
（2）需要预测的实例的特征向量$x$
输出：实例$x$所属的类别$y$。
那么k近邻算法的步骤为：
（1）根据给定的距离度量，在训练集$T$中找出与$x$最近邻的$k$个点，涵盖这$k$个点的$x$的邻域记作$N_k(x)$；
（2）在$N_k(x)$中根据分类决策规则（如多数表决）决定$x$的类别$y$：
y = a r g m a x c j ∑ x i ∈ N k ( x ) I ( y i = c j ) i = 1 , 2 , . . . , n ; j = 1 , 2 , . . . , p y = \mathop{argmax} \limits_{c_j} \sum_{x_i \in N_k(x)} I(y_i = c_j) \qquad i=1,2,...,n; j=1,2,..., p y=cj​argmax​x