K-means及其改进

一. k-means

1.算法流程

给定数据样本集D={ x1,x2,...,xm}D=\{x_1,x_2,...,x_m\}D={ x1​,x2​,...,xm​},k-means欲将$D$划分成K个簇C={ c1,c2,...,ck}C=\{c_1,c_2,...,c_k\}C={ c1​,c2​,...,ck​}并且簇之间没有交集。其目标是最小化平方误差和：
$$\begin{array}{r}E=\sum _{i=1}^k\sum _{x\in c_i}||x-u_i|{|}_2^2\end{array}$$
其中$u_i=\frac{1}{|c_i|}{\sum }_{x\in c_i}x$是簇$c_i$的均值向量（簇的形心）。从几何上理解就是k-means划分的每个簇中的样本都紧紧地挨着簇的形心。想要最小化平方误差和并不容易，找到它的最优解需要考虑所有可能的簇的划分，这是个NP难问题。所以，k-means采用了贪心的策略，通过迭代来找到局部最优解。算法流程如下：

• 输入数据集D，簇的个数k
• 从D中随机选择k个不同的样本作为初始均值向量{ $u_1,u_2,...,u_k$}
• REPEAT
• 初始化k个簇为空$c_i=\varnothing <$