K-近邻(KNN)算法-优快云博客

本文链接：https://blog.youkuaiyun.com/qq_53203987/article/details/131505407

文章目录

1.K-近邻算法介绍
2.距离度量
3.代码实现K-近邻算法
- 3.1创建数据集
- 3.2K-近邻算法
4.参考

1.K-近邻算法介绍

k近邻法(k-nearest neighbor, k-NN)是1967年由Cover T和Hart P提出的一种基本分类与回归方法。它的工作原理是：存在一个样本数据集合，也称作为训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后，将新的数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本最相似数据(最近邻)的分类标签。一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处，通常k是不大于20的整数。最后，选择k个最相似数据中出现次数最多的分类，作为新数据的分类。
例子：用亲吻镜头和打斗镜头判断电影为爱情片还是动作片

2.距离度量

我们将上表的数据转移至二维表上：

那么我们如何判断红色点属于什么类型的电影呢?
我们人眼判断红点距离两个动作片更近，所以会将红点归类为动作片。其实K-近邻算法也可以实现这个功能，并且通过计算有理有据地说明为啥它就属于动作片。

在二维向量空间内，我们了解两点之间距离公式为

计算后我们得到的数据为：

(101,20)->动作片(108,5)的距离约为16.55

(101,20)->动作片(115,8)的距离约为18.44

(101,20)->爱情片(5,89)的距离约为118.22

(101,20)->爱情片(1,101)的距离约为128.69

跟据计算结果，我们可知，红点距离动作片（108，5）距离最小。但如果因此判定为动作片，并未体现K-近邻算法中K的含义。那么该如何体现K呢，我们取一个K值（通常不超过20），我们已经将距离按照升序排列，例如我们取K=3，则是取前3个数据。那么前3个数据中，动作片出现的频率（2/3）>爱情片出现的频率（1/3）。所以K-近邻算法判定红点的电影为动作片。
！！！注意：一定要先将距离按升序排列再取前K个数据！！！
那么问题再次出现：二维是这样，那多维怎么办？

多维其实异曲同工，无非是计算距离的公式有变化，之前我们展示的二维两点距离公式是欧式距离公式n=2时的变形。那么多维就是要用到欧式公式，几维就改变n等于多少

3.代码实现K-近邻算法

3.1创建数据集

# -*- coding: UTF-8 -*-
import numpy as np

def createDataSet():
    #四组二维特征
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    #四组特征的标签
    labels = ['爱情片','爱情片','动作片','动作片']
    return group, labels
if __name__ == '__main__':
    #创建数据集
    group, labels = createDataSet()
    #打印数据集
    print(group)
    print(labels)

3.2K-近邻算法

# -*- coding: UTF-8 -*-
import numpy as np
import operator
 

def createDataSet():
    #四组二维特征
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    #四组特征的标签
    labels = ['爱情片','爱情片','动作片','动作片']
    return group, labels
 

def classify0(inX, dataSet, labels, k):
    #numpy函数shape[0]返回dataSet的行数
    dataSetSize = dataSet.shape[0]
    #在列向量方向上重复inX共1次(横向)，行向量方向上重复inX共dataSetSize次(纵向)
    diffMat = np.tile(inX, (dataSetSize, 1)) - dataSet
    #二维特征相减后平方
    sqDiffMat = diffMat**2
    #sum()所有元素相加，sum(0)列相加，sum(1)行相加
    sqDistances = sqDiffMat.sum(axis=1)
    #开方，计算出距离
    distances = sqDistances**0.5
    #返回distances中元素从小到大排序后的索引值
    sortedDistIndices = distances.argsort()
    #定一个记录类别次数的字典
    classCount = {}
    for i in range(k):
        #取出前k个元素的类别
        voteIlabel = labels[sortedDistIndices[i]]
        #dict.get(key,default=None),字典的get()方法,返回指定键的值,如果值不在字典中返回默认值。
        #计算类别次数
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    #python3中用items()替换python2中的iteritems()
    #key=operator.itemgetter(1)根据字典的值进行排序
    #key=operator.itemgetter(0)根据字典的键进行排序
    #reverse降序排序字典
    sortedClassCount = sorted(classCount.items(),key=operator.itemgetter(1),reverse=True)
    #返回次数最多的类别,即所要分类的类别
    return sortedClassCount[0][0]
 
if __name__ == '__main__':
    #创建数据集
    group, labels = createDataSet()
    #测试集
    test = [101,20]
    #kNN分类
    test_class = classify0(test, group, labels, 3)
    #打印分类结果
    print(test_class)