ziding的博客

先放一张比较丑的笔记，跟大家介绍一下大致的内容

KNN算法是机器学习里面常用的一种分类算法，假设一个样本空间被分为几类，然后给定一个待分类所有的特征数据，通过计算距离该数据的最近的K个样本来判断这个数据属于哪一类。如果距离待分类属性最近的K个类大多数都属于某一个特定的类，那么这个待分类的数据也就属于这个类。 kNN的模型是整个训练数据集。当我们需要预测一个新实例时，kNN算法会搜索训练数据集到k个最相似的实例。其中这k个最相似的实例中，数目最

在样本有限的情况，样本分布不规律且含有噪声的情况下，用最近邻来做决策难免有一定风险，因此对其引入打分机制，对未知样本的决策，不仅仅只依赖于最近的那一个已知样本，更可靠的做法是选择k个距离未知样本最近的已知样本，然后在这k个类别中进行打分来决定最后应该决策给谁。显然，最近邻就是1近邻。  另外，回顾下前面在讲概率密度函数的非参数估计时，是不是也提到了k近邻，没错，这篇文章就来认真的学习下k近邻。