11-Clustering

1 - Unsupervised Learning Introduction 无监督学习

数据事先没有标记分类。
应用：

• Market segmentation 市场分割
• Social network analysis 社交网络分析
• Organize computing clusters 计算集群组织
• Astronomical data analysis 天文数据分析

2 - K-Means Algorithm

输入：

• 簇数目：K
• 训练数据集：$\{x^{(1)},x^{(2)},\dots,x^{(m)}\},x^{(i)}\in R^n(注意不再考虑x_0=1)$

算法步骤：

• 随机的选择 K 个 cluster centroids $\mu_1,\mu_2,\dots,\mu_K \in R^n$
  $$\begin{aligned} Repeat&\{ \\ &for \;i=1 \;to\; m \\ &\quad c^{(i)} := index \;of \;centroid \;closest \;to \;x^{(i)} \\ &for \;k=1 \;to \;K \\ &\quad \mu_k := average \; of \;points \;assigned \; to \;cluster \; k \\ &\} \end{aligned}$$

3 - Optimization Objective 优化目标

约定的符号：

• $c^{(i)}$：训练数据 $x^{(i)}$ 当前所属的簇的编号
• $\mu_k$：第 k 个簇的中心点
• $\mu_{c^{(i)}}$：数据 $x^{(i)}$ 所在簇的中心点

Optimiation Objective：

$$minJ(c^{(1)},\dots,c^{(m)},\mu_1,\dots,\mu_K) = \frac{1}{m}\sum\limits_{i=1}^m\|x^{(i)}-\mu_{c^{(i)}}\|^2$$

4 - Random Initialization 中心点的随机初始化

条件：
- 簇数量 K 应该小于样本数 m：K < m

选取方法：

• 从训练集中随机选取 K 个点作为 cluster centroid
• 为了避免陷入 Local optima，应该重复选取多次，最后取 J 最小的情况

5 - Choosing the Number of Clusters 聚类数目 K 的选择

• Elbow method：
  

• Evaluate K-means based on a metric for how well it performs for that later purpose.
  例如 T-shirt 尺码的选择