最小距离法

最小距离法是分类方法中最简单的方法之一

当想要判断一个新的样本向量的类别的时候，就去计算它与各类别的代表向量的距离即可

求每一类的代表向量

设一个样本集有 $p$ 类样本
设第 $i$ 类有$k$个样本，样本集合为$\{\omega_{i1},\omega_{i2},...,\omega_{ik}\}$
其代表向量一般为这些样本的均值向量，即
$\omega_{im}=\frac{1}{k}(\omega_{i1}+\omega_{i2}+...+\omega_{ik})$

计算距离

设需判断的样本为$\omega$，则接下来需要计算出p个距离出来，然后比较出哪个距离最小，就把该样本判定为距离最近的那一类

$d_1=d(\omega,\omega_{1m})$
$d_2=d(\omega,\omega_{2m})$
…
$d_p=d(\omega,\omega_{pm})$

然后看$\min\{d_1,d_2,...,d_p\}$属于哪一类

几种距离

至于两个向量的距离的计算，有好几种，最常见的是欧氏距离

比如，若求$\omega_1$和$\omega_2$的距离

设$\omega_1$为$(x_1,x_2...x_n)$，是个n维向量

设$\omega_2$为$(y_1,y_2...y_n)$，是个n维向量

欧氏距离=$\sqrt {\sum\limits_{k=1}^n (x_k-y_k)^2}$=$\sqrt{(\omega_1-\omega_2)(\omega_1-\omega_2)^T}$，这里$\omega$是个行向量

曼哈顿距离=${\sum\limits_{k=1}^n |x_k-y_k|}$

闵可夫斯基距离=$\sqrt[r] {\sum\limits_{k=1}^n (x_k-y_k)^r}$

欧氏距离和曼哈顿距离是闵可夫斯基距离的特例。表示r=2和r=1的时候的特例。