KNN

KNN算法(K-近邻算法)
k-NN算法采用测量不同特征值之间的距离方法进行分类
优点：简单直观、精度高、对异常值不敏感
缺点： 计算复杂、空间复杂度高

输入样本： T = { x 1 , x 2 , x 3 , . . . } T=\left \{x_{1},x_{2}, x_{3},... \right \} T={x1​,x2​,x3​,...}对数据进行归一化处理，然后根据某种距离度量方式得到输入样本$T$与训练集中的每个样本的距离，找出与输入样本距离最近的k个点(样本),记作$N_k$。
在$N_k$中根据某种分类规则(多数表决规则)决定输入样本$T$的类别$y$
距离度量方式：

• 欧式距离：优点是当作标轴进行正交旋转后，欧氏距离保持不变。$$d=\sqrt{(x_i^1-x_j^1{)}^2+(x_i^2-x_j^2{)}^2+...}$$
• 曼哈顿距离：$$d=\left|x_i^1-x_j^1\right|+\left|x_i^2-x_j^2\right|+\left|...\right|$$
• 切比雪夫距离$$d=max(\left|x_i^1-x_j^1\right|,\left|x_i^2-x_j^2\right|,\left|...\right|)$$
  归一化\标准化方法：
• Min-Max 归一化：$$X=(\frac{x-X_{min}}{X_{max}-X_{min}})$$
• Z-Score 标准化:$$X=\frac{x-X_{mean}}{\sigma }$$
• 均值标准化：$$X=\frac{x-X_{mean}}{X_{max}-X_{min}}$$
  归一化是为了在计算的时候消除量纲对计算的影响。
  标准化在进行特征缩放的同时还不会改变数据的原始分布。
  关于归一化与标准化的详细介绍