K近邻算法

K 最近邻 (k-Nearest Neighbor，KNN) 分类算法

利用训练数据集对特征向量空间进行划分

三要素: k值的选择、距离度量、分类决策规则

k近邻算法

(1)给定距离度量，在训练集T中找到与x最近邻的k个点

涵盖这k个点的x领域记作Nk(x);

(2)在Nk(x)中根据分类决策规则(如多数表决)决定x的类别y:

                         y=argmax∑I(yi=cj),        i=1,2...N;j=1,2...K

                                           I为指示函数,yi=cj 时 I =1，否则 I =0.

K=1时称为最近邻算法

k近邻没有显式的学习过程

k近邻模型

1：距离度量

1. 1. 
      
   1. 
      
   1. 
      
   距离度量一般采用 Lp 距离

1. 欧氏距离 ，最常见的两点之间或多点之间的距离表示法，又称之为欧几里得度量，它定义于欧几里得空间中，如点 x = (x1,...,xn) 和 y = (y1,...,yn) 之间的距离为： 

(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离： 

(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离： 

(3)两个n维向量a(x11,x12,…,x1n)与 b(x21,x22,…,x2n)间的欧氏距离： 

也可以用表示成向量运算的形式： 

其上，二维平面上两点欧式距离，代码可以如下编写：