【机器学习实验一】K-近邻算法

目录

 

1、K-近邻算法原理

2、K- 近邻算法流程

3、K-近邻算法引例 

4、K值的选择

5、实验过程

---

1、K-近邻算法原理

k-近邻(k-Nearest Neighbor，kNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
所谓k近邻算法，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例（也就是上面所说的k个邻居，这k个实例的多数属于某个类，就把该输入实例分类到这个类中。因为是做决策，所以k的取值为单数）
 

2、K- 近邻算法流程

1. 计算已知类别数据集中的点与当前点之间的距离
2. 按距离递增次序排序
3. 选取与当前点距离最小的k个点
4. 统计前k个点所在的类别出现的频率
5. 返回前k个点出现频率最高的类别作为当前点的预测分类

3、K-近邻算法引例 

 如上图所示，有两类不同的样本数