KMeans

给定样本集$D={x_1,x_2,\cdots, x_m}$, “k均值”算法针对聚类所得簇划分$C={C_1,\cdots, C_k}$最小化平方误差

$$E= \sum_{i=1}^K\sum_{x\in c_i}||x-u_i||^2$$
其中$u_i = \frac{1}{|c_i|}\sum_{x \in c_I}x$ 是簇$c_i$ 的均值向量。上式在一定程度上刻画了簇内样本围绕簇均值向量的紧密程度，E值越小则簇内样本相似度越高

算法

输入：样本集$D={x_1,x_2,\cdots,x_m}$;

​ 聚类数K，

从D中随机选择K个样本作为初始均值向量$\{\mu_1,\cdots, \mu_k\}$

令 $c_i =\emptyset \quad (1\leq i \leq K)$

repeat

​ for j=1,2,…,m do

​ 计算样本$x_j$与各均值向量$\mu_i (1 \leq i \leq k)$ 的距离：$d_{ji}= ||x_i-\mu_i||_2$;

​ 根据距离最近的均值向量确定$x_i​$的簇标记：$\lambda_j =\arg \min_{i \in \{1,2,\cdots,k\}} d_{ji}$;

​ 将样本$x_j$划入相应的簇：$c_{\lambda_j}= c_{\lambda_j} \bigcup \{x_j\}$;

​ end for

​ for i =1,2,…,k do

​ 计算新均值向量：$\mu_i'= \frac 1{|C_i|}\sum_{x\in c_i}x$

​ if $\mu_i' \neq u_i$ then

​ $\mu_i = \mu_i'$

​ end if

​ end for

until 当前均值向量均为更新

输出：划分簇$C={c_1,c_2,…,c_k}$