4.2 最近邻规则分类算法（KNN)应用

最新推荐文章于 2023-09-21 17:53:19 发布

liang_biao

最新推荐文章于 2023-09-21 17:53:19 发布

阅读量1k

点赞数 4

分类专栏：深度学习基础课程笔记文章标签：机器学习 python

本文链接：https://blog.youkuaiyun.com/liang_biao/article/details/51824830

版权

深度学习基础课程笔记专栏收录该内容

24 篇文章

订阅专栏

本文通过手写KNN算法及使用Python的SKLearn库两种方式实现了对经典Iris数据集的分类预测。首先介绍了Iris数据集的基本情况，并使用SKLearn库中的KNN分类器进行了简单示例。随后详细展示了手写KNN算法的过程，包括数据加载、距离计算、邻居选择、响应获取及准确率评估等关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 数据集介绍：

虹膜
这里写图片描述

150个实例
这里写图片描述
萼片长度，萼片宽度，花瓣长度，花瓣宽度
(sepal length, sepal width, petal length and petal width）

类别：
Iris setosa, Iris versicolor, Iris virginica.

利用Python的机器学习库sklearn: SkLearnExample.py

from sklearn import neighbors
from sklearn import datasets
knn = neighbors.KNeighborsClassifier()
iris = datasets.load_iris()
print iris
knn.fit(iris.data, iris.target)
predictedLabel = knn.predict([[0.1, 0.2, 0.3, 0.4]])

print predictedLabel

3.手写knn算法：

import csv 
import random
import math
import operator
from webbrowser import Opera


def loadDataSet(filename,split,trainingSet=[],testSet=[]):
    with open(filename,'rb') as csvfile:
        lines=csv.reader(csvfile)
        dataset=list(lines)
        for x in range(len(dataset)-1):
            for y in range(4):
                dataset[x][y]=float(dataset[x][y])
            if random.random()<split:
                trainingSet.append(dataset[x])
            else:
                testSet.append(dataset[x])





def euclideanDistance(testInstance, trainInstance, lenght):
    distance=0;
    for x in range(lenght):
        distance+=(testInstance[x]-trainInstance[x])**2;
    return math.sqrt(distance)


def getNeighbors(trainingSet, testInstance, k):
    distances=[]
    lenght=len(testInstance)-1
    for x in range(len(trainingSet)):
        dist=euclideanDistance(testInstance,trainingSet[x],lenght)
        distances.append((trainingSet[x],dist))
    distances.sort( key=operator.itemgetter(1))
    neighbors=[]
    for x in range(k):
        neighbors.append(distances[x][0])
    return neighbors


def getResponse(neighbors):
    classVotes={}
    for x in range(len(neighbors)):
        response=neighbors[x][-1]
        if response in classVotes:
            classVotes[response]+=1
        else:
            classVotes[response]=1
    sortedVotes=sorted(classVotes.iteritems(),key=operator.itemgetter(1),reverse=True)
    return sortedVotes[0][0]


def getAccuracy(testSet, predictions):
    correct=0
    for x in range(len(testSet)):
        if testSet[x][-1]==predictions[x]:
            correct+=1
    return (correct/float(len(testSet)))*100.0


def main():
    trainingSet=[]
    testSet=[]
    loadDataSet("irisdata.csv", 0.67, trainingSet, testSet) 
    print  "trainingSet:",trainingSet
    print "testSet:",testSet

    predictions=[]
    k=3
    for x in range(len(testSet)):
        neighbors=getNeighbors(trainingSet,testSet[x],k)
        result=getResponse(neighbors)
        predictions.append(result)
        print ('>predicted='+repr(result)+',actual='+repr(testSet[x][-1]))
    accuracy=getAccuracy(testSet,predictions)
    print('Accuracy:'+repr(accuracy)+'%')



if __name__=="__main__":
    main()