机器学习实战（四）k-近邻算法

最新推荐文章于 2021-04-07 16:37:35 发布

原创

最新推荐文章于 2021-04-07 16:37:35 发布 · 1.4k 阅读

5 ·

CC 4.0 BY-SA版权

文章目录

一、k-近邻算法的理解

1.定义

k近邻算法（k-nearest neighbor）也可以叫做KNN,是一种基本的分类和回归方法．输入是训练数据的特征向量，当然，KNN是不具备显式的学习过程．假定给定一个训练数据集，且每个数据都有对应的类别，分类时，对新的数据，根据Ｋ个最近的数据类别，通过多数表达等方式进行预测．最简单的说法，k-近邻算法采用测量不同特征值之间的距离方法进行分类。

2.Ｋ近邻的三个基本要素

Ｋ值的选择
（1）较小的k值，学习的近似误差减小，但是估计误差会增大，意味着整体模型变得复杂，容易过拟合。
（2）较大的k值，学习的近似误差增大，但是估计误差会减小，意味着整体模型变得简单。
（3）在应用中k值一般取一个比较小的数值。采用交叉验证选取最优的k值。
距离度量

机器学习中各种距离度量的详解，可以查看博客。
https://blog.youkuaiyun.com/qs17809259715/article/details/96110056
以及分类决策规则（多数表决）

3.K-近邻算法

优点：精度高、对异常值不敏感、无数据输入假定
缺点：计算复杂度高、空间复杂度高
适用数据范围：数值型和标称型

注：
数值型：数值型目标变量则可以从无限的数值集合中取值，如0.100，42.001等 (数值型目标变量主要用于回归分析)。

可以在无限的数据中取，而且数值比较具体化，例如4.02,6.23这种值（一般用于回归分析）。

标称型：标称型目标变量的结果只在有限目标集合中取值，如真与假(标称型目标变量主要用于分类）。

一般在有限的数据中取，而且只存在‘是’和‘否’两种不同的结果（一般用于分类）
4.K-近邻算法（KNN），工作原理：

存在一个样本数据集合，称之为训练样本集，并且样本集中的每个数据都存在标签，即我们知道集中每一数据与所属分类的对应关系。
输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集中特征最相似数据（最近邻）的分类标签。
一般来说，我们只选择样本数据集中前K个最相似的数据，这就是K-近邻算法中K的出处，通常K是不大于20的整数。当k等于1，也就是所说的最近邻算法。
最后，选择K个最相似数据出现次数最多的分类，作为新数据的分类。

二、简单的例子来更好的理解k近邻算法：

1.描述
已知表格的前四部电影，根据打斗镜头和接吻镜头判断一个新的电影所属类别？

在这里插入图片描述
已知的训练集包含两个特征（打斗镜头和接吻镜头）和类别（爱情片还是动作片）。根据经验，动作片往往打斗镜头比较多，而爱情片往往就是接吻的镜头比较多了。但是knn算法可没有我们这么感性的认识。

2.可视化与距离计算

我们首先对训练数据进行可视化：
在这里插入图片描述

3.总结一下k近邻算法步骤：

对未知类别属性的数据集的每个点依次执行以下操作

（1）计算已知类别数据集中的点与当前点之间的距离；
（2）按照距离递增次序排序；
（3）选取与当前点距离最小的k个点；
（4）确定前k个点所在类别的出现频率；
（5）返回前k个点所出现频率最高的类别作为当前点的预测分类

4.Python3代码实现

(1)准备数据集

对于表1.1中的数据，我们可以使用numpy直接创建，代码如下：

# -*- coding: UTF-8 -*-
import numpy as np
 
"""
函数说明:创建数据集
 
Parameters:
    无
Returns:
    group - 数据集
    labels - 分类标签
Modify:
    2017-07-13
"""
def createDataSet():
    #四组二维特征
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    #四组特征的标签
    labels = ['爱情片','爱情片','动作片','动作片']
    return group, labels
if __name__ == '__main__':
    #创建数据集
    group, labels = createDataSet()
    #打印数据集
    print(group)
    print(labels)

(2)k-近邻算法

根据两点距离公式，计算距离，选择距离最小的前k个点，并返回分类结果。

# -*- coding: UTF-8 -*-
import numpy as np
import operator
 
"""
函数说明:创建数据集
 
Parameters:
    无
Returns:
    group - 数据集
    labels - 分类标签
Modify:
    2017-07-13
"""
def createDataSet():
    #四组二维特征
    group = np.array([[1,101],[5,89],[108,5],[115,8]])
    #四组特征的标签
    labels = ['爱情片','爱情片','动作片','动作片']
    return group, labels
 
"""
函数说明:kNN算法,分类器
 
Parameters:
    inX - 用于分类的数据(测试集)
    dataSet - 用于训练的数据(训练集)
    labes - 分类标签
    k - kNN算法参数,选择距离最小的k个点
Returns:
    sortedClassCount[0][0]