机器学习十大算法之k-最近邻算法

         机器学习是大数据应用发展最快的一个领域，同时也是支撑着人工智能领域的脊柱。机器学习是模拟人的学习方式，即经验学习，让计算机自己具有一定的学习能力，能够从已经存在的数据集中总结出一些模型，以此模型来解决现实存在的某些问题。机器学习的特点就是‘智能’，因为计算机可以根据训练数据集自动地改进模型的预测效果和性能，从而使得计算机具有了自己‘学习’，提升‘自己’的能力。

        k-最邻近算法是机器学习中最简单，最容易掌握的监督学习的分类算法了。

        k-最邻近算法的步骤如下：

        1.计算已知类别数据集中的点与当前点之间的距离；

        2.按照距离递增次序排序

        3.选取与当前点距离最小的k个点

        4.确定前k个点所在类别的出现频率

        5.返回前k个点出现频率最高的类别作为当前点的预测分类

举例：

电影编号	打斗镜头	接吻镜头	电影类型
1	3	104	爱情片
2	2	100	爱情片
3	1	81	爱情片
4	101	10	动作片
5	99	5	动作片
6	98	2	动作片
7	18	90	未知

如上图，假设有这样一些数据，这里有7部电影，前6部电影是已知类别的电影，而第7部电影是未知类别的电影，现在要把前6部电影当做训练集，用k-最邻近算法来判断第7部电影所属的类别。

步骤如下：

1.先建立各电影的特征向量：

x1=(3,104)

x2=(2,100)

x3=(1,81)

x4=(101,10)

x5=(99,5)

x6=(98,2)

x7=(18,90)

2.要判断x7所属哪个电影类别，利用欧式距离算出x7与其他6个向量的距离，并按照由小到大排序：

d(x7,x1)=sqrt((18-3)^2+(90-104)^2)=20.52

d(x7,x2)=sqrt((18-2)^2+(90-100)^2)=18.87

d(x7,x3)=sqrt((18-1)^2+(90-81)^2)=19.24

d(x7,x4)=sqrt((18-101)^2+(90-10)^2)=115.28

d(x7,x5)=sqrt((18-99)^2+(90-5)^2)=117.41

d(x7,x6)=sqrt((18-98)^2+(90-2)^2)=118.93

排序结果：d(x7,x2)<d(x7,x3)<d(x7,x1)<d(x7,x4)<d(x7,x5)<d(x7,x6)

4.选取前最小的k个距离(k=4)

得d(x7,x2)、d(x7,x3)、d(x7,x1)、d(x7,x4)

其中x2、x3、x1都属于爱情片，而只有x4属于动作片，k个点中爱情片出现的频率大于动作片出现的频率，则说明x7与x2、x3、x1三个向量更加接近，则可以判断x7是爱情片。

以上便是k-最邻近算法具体使用实例，该算法简单，易掌握，要求样本特征值必须可以量化。