深度学习-K近邻算法

       K近邻算法

K近邻算法定义：K最近邻(k-Nearest Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：在特征空间中，如果一个样本附近的k个最近(即特征空间中最邻近)样本的大多数属于某一个类别，则该样本也属于这个类别

一句简单的话帮你理解什么是kNN
商业哲学家 Jim Rohn 说过一句话，“你，就是你最常接触的五个人的平均。”那么，在分析一个人时，我们不妨观察和他最亲密的几个人。同理的，在判定一个未知事物时，可以观察离它最近的几个样本，这就是 kNN（k最近邻）的方法

1. 在上图中显示，一共存在两种标签不同的数据，我们需要根据这些数据来判别一个新的数据（绿色点）属于哪一类，例如选择K=1，那么结果就是距离该点最近的点的分类，而k-近邻算法（K-Nearest
   Neighbor）要做的就是通过K值的选择、距离的度量、分类策略规则的定义来给出一个最好的预测结果。
2. K 值的选择会对算法的结果产生重大影响。K值较小意味着只有与输入实例较近的训练实例才会对预测结果起作用，但容易发生过拟合；如果 K
   值较大，优点是可以减少学习的估计误差，但缺点是学习的近似误差增大，这时与输入实例较远的训练实例也会对预测起作用，是预测发生错误。在实际应用中，K值一般选择一个较小的数值，通常采用交叉验证的方法来选择最有的 K 值。
3. 该算法中的分类决策规则往往是多数表决，即由输入实例的 K 个最临近的训练实例中的多数类决定输入实例的类别。
4. 距离度量一般采用 Lp距离，当p=2时，即为欧氏距离，在度量之前，应该将每个属性的值规范化，这样有助于防止具有较大初始值域的属性比具有较小初始值域的属性的权重过大（归一化处理）。