【ML实战】KNN

最新推荐文章于 2024-04-01 13:43:03 发布

innerVoi

最新推荐文章于 2024-04-01 13:43:03 发布

阅读量234

点赞数

分类专栏： machine learning 文章标签：机器学习 KNN

本文链接：https://blog.youkuaiyun.com/qq_41977459/article/details/107296975

版权

machine learning 专栏收录该内容

10 篇文章

订阅专栏

大纲

- - 思想
  - 代码实现

思想

训练样本集中每个数据都有标签，即我们知道每一个样本与其分类的对应关系。KNN算法的思想则是在输入一个新的样本向量后，与数据集中的各个样本数据特征进行比较，找出其与之特征最相似（最近邻）的K个数据，统计它们的标签，用累计数量最多的标签作为新样本数据的标签。

代码实现

导入需要的包

import numpy as np
import operator

创建一些简单的数据

def createData():
    group = np.array([
        [1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]
    ])
    labels = ['A', 'A', 'B', 'B']
    return group, labels

KNN算法实现（使用欧氏距离）

def knn(input, dataset, labels, k):
    dataset_Size = dataset.shape[0]
    diffMat = np.tile(input, (dataset_Size, 1)) - dataset
    print(diffMat)
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis = 1)
    print(sqDistances)
    distances = sqDistances ** 0.5
    sortedDistIndicies = distances.argsort()
    classCount = {}
    for i in range(k):
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
    return sortedClassCount[0][0]

主函数测试

if __name__ == '__main__':
    group, labels = createData()
    x = input('Please input two numbers such as \'x y \' \n ')
    xx = [float(i) for i in x.split(' ')]
    print(xx)
    y = input('Please input k = \n')
    k = int(y)
    print(k)
    final_label = knn(xx, group, labels, k)
    print('the final label is %s' % final_label)