KNN算法

KNN算法

什么是knn算法

分类/回归算法

给定一个训练数据集，对新的的输入实例，在训练数据集中找到与该实例最邻近的的K个实例，这K个实例的多数属于某个类，就把该实例分为这个类。即寻找最近的k个数据，推测新数据的分类。

算法原理

通用步骤

• 计算距离(常用欧几里得距离或马氏距离)

  • 欧几里得距离
    $$c=\sqrt{{\left(x_1-x_2\right)}^2+{\left(y_1-y_2\right)}^2}$$

  • 曼哈顿距离
    $$c=\left|x_1-x_2\right|+\left|y_1-y_2\right|$$

  • 马氏距离
    $$D_M(x,y)=\sqrt{(x-y{)}^T{\Sigma }^{-1}(x-y)}$$

• 特征归一

• 升序排列

• 取前k个

• 加权平均
  $$\bar{x}=\frac{x_1{f}_1+x_2{f}_2+\cdots +x_n{f}_n}{n}$$

k的选取

• k太大：导致分类模糊
• k太小：受个例影响，波动较大

如何选取k

• 经验

• 均方根误差
  $$RMSE=\sqrt{\frac{1}{N}\sum _{i=1}^n{\left(X_{obs,i}-X_{\text{model },i}\right)}^2}$$

• 均方误差
  $$MSE=\frac{\sum e_i^2}{n}$$