【机器学习实战】KNN

最新推荐文章于 2023-06-18 11:33:00 发布

原创

最新推荐文章于 2023-06-18 11:33:00 发布 · 1.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #算法 #python

本文介绍了KNN算法的基本原理，强调了numpy和scikit-learn在机器学习中的重要性，并提供了KNN的实现过程，包括数据集的获取、分类函数及计算准确率的方法。通过Iris数据集进行示例，讨论了模型稳定性和复杂度，指出选择合适的k值对提高预测稳定性至关重要。算法复杂度分析显示，测试阶段的复杂度为O((K+1)MN)。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

KNN是比较简单且好用的算法。
读本篇博客之前，需要先对numpy、scikit-learn有个基本的了解，因为它们都是python做科学计算、机器学习必备的好工具！

还有就是需要了解cross validation（交叉验证），可参考我的另外一片博客：交叉验证

A. 算法原理

KNN是个怎样的算法呢？其实顾名思义就能猜个七八成了，k-nearest-neighbors，邻居？首先假设我们有一个计算两个sample之间的距离的函数distance，然后我们可以用它来计算测试的sample与所有train_samples之间的距离，在这些距离中，我们选最小的k个，投票决定（每个选出来的距离当然是投给它相应的那个类别啦），那个投票最多的类别（如果有多个，则可以进一步细化或直接随机选一个即可）作为最终分类的类别。
原理十分简单，实现起来也很简单。

推荐好习惯：

对于数组、矩阵的操作，尽量使用numpy的各种运算来加速，不然用python处理规模稍微大点的数据集会坑害自己的！！！除非你自己手写各种优化、并行、多线程之类的，不过numpy已经做得很好了。

B. 实现

首先是实现了一个叫做KNN的模块，封装了如何获取数据集，如何分类一个sample，以及如何分类一个测试集，以及计算准确率的函数。使用的是著名的Iris数据集，其描述可以参考：Iris数据集的介绍

# !/usr/bin/env python2
# -*- coding: utf-8 -*-
__author__ = 'jacket'


# standard module
import sys

# third-party module
import numpy as np
from sklearn.datasets import load_iris
from</