机器学习： K-means 聚类

今天介绍机器学习里常见的一种无监督聚类算法，K-means。我们先来考虑在一个高维空间的一组数据集，$S = \{ \mathbf{x}_1, \mathbf{x}_2, ... , \mathbf{x}_N \}$， $\mathbf{x} \in \mathbb{R}^D$，假设我们需要把这组数据聚集长 $K$ 类，不失一般性，我们可以假设每个聚好的类都有一个中心 $\mathbf{ \mu}_k$，如果聚类完成的话，那么数据集中的每一个点 $\mathbf{x}$ 会有一个中心 $\mathbf{ \mu}_k$ 离这个点的距离最近。可以构造一个变量 $r_{nk} = \{ 0, 1 \}$ 表示变量 $\mathbf{x}$ 离第 $k$ 类最近 $r_{nk} = 1$，离其他的类更远 $r_{nj} = 0, j \neq k$，那么我们可以定义如下的目标函数：

$$J = \sum_{n=1}^{N} \sum_{k=1}^{K} r_{nk} || \mathbf{x}_n - \mathbf{ \mu}_k ||^2$$

这个目标函数就是要求 $r_{nk} , \mathbf{ \mu}_k$，使得目标函数 $J$ 的值最小。

为了解决上面这个问题，因为要同时求 $r_{nk} , \mathbf{ \mu}_k$ 两个变量，所以我们会采取分步迭代的方法，当我们求 $r_{nk}$ 可以让 $\mathbf{\mu}_k$ 固定不动，当我们求 $\mathbf{\mu}_k$ 的时候，可以让 $r_{nk}$ 固定不动。

很显然，当我们求 $r_{nk}$，只有比较每一个 $\mathbf{x}_n$ 与 $\mathbf{\mu}_k$ 的距离，选择距离最近的一个类即可:

$$r_{nk} = 1 \quad \text{if} = \arg min_j || \mathbf{x}_n - \mathbf{ \mu}_j ||^2$$

而求 $\mathbf{\mu}_k$ 的时候，我们可以 让 $r_{nk}$ 固定不动， 对目标函数 $J$ 求导，

$$2 \sum_{n=1}^{N} r_{nk} ( \mathbf{x}_n - \mathbf{ \mu}_k ) = 0$$

从而我们可以求得 $\mathbf{\mu}_k$ :

$$\mathbf{\mu}_k = \frac{ \sum_n r_{nk} \mathbf{x}_n }{ \sum_n r_{nk} }$$

通过这样的反复迭代，直到所有的 $r_{nk} , \mathbf{ \mu}_k$ 都不再变化。