k近邻分类算法的python实践

最新推荐文章于 2024-09-03 23:21:13 发布

qq_23617681

最新推荐文章于 2024-09-03 23:21:13 发布

阅读量742

点赞数

CC 4.0 BY-SA版权

分类专栏： python 分类 k近邻文章标签： python K近邻分类

本文链接：https://blog.youkuaiyun.com/qq_23617681/article/details/51005795

本文介绍了如何使用Python实现K近邻分类算法，详细解析了算法原理，并提供了代码示例，包括handwritingClassTest、classify0和img2vector等关键函数。K近邻算法依赖于计算所有已分类样本与待分类样本的距离，可能存在计算量大和分类结果受K值影响的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

最近学习机器学习算法，用python实现。

这里记录k近邻算法的python源码实现和一些理解。

文章参考了zouxy09的博文，代码参考machine learning in action.

k近邻分类算法原理：

1、根据k近邻，计算K个离待分类物品最近的物品，这K个最近的物品已经分类。

2、统计K个近邻的分类结果，按照降序排列。

3、分类结果值最大的，即是待分类物品类别。

代码如下（根据手写数字0-9，判断未知手写数字的分类）：

#!/usr/bin/env python
# coding=utf-8

'''
Created on Sep 16, 2010
kNN: k Nearest Neighbors

Input:      inX: vector to compare to existing dataset (1xN)
            dataSet: size m data set of known vectors (NxM)
            labels: data set labels (1xM vector)
            k: number of neighbors to use for comparison (should be an odd number)
            
Output:     the most popular class label

@author: pbharrin
'''

from numpy import *
import operator
from os import listdir

#每个dataSet数组元素，对应一个labels数组元素，根据K邻域分类
#k应该是奇数，偶数不好比较。举例：分类结果A：2；B：2.就不能正确分类了
def classify0(inX, dataSet, labels, k):
    dataSetSize = dataSet.shape[0]
    diffMat = tile(inX, (dataSetSize,1)) - dataSet  #待分类数组与所有训练集数组
    sqDiffMat = diffMat**2                          
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5                    #计算欧氏距离
    sortedDistIndicies = distances