K-Means

1. K-Means 是什么？

K-Means 是一种无监督学习算法，用于将数据集分成 $K$ 个簇（clusters），每个簇由其中心点（centroid）表示。其核心目标是最小化簇内样本点到其簇中心的距离之和，从而实现数据的分组。

1.1 核心思想

• 输入：包含 $n$ 个样本的数据集 { x1,x2,...,xn}\{x_1, x_2, ..., x_n\}{ x1​,x2​,...,xn​}，每个样本是一个 $d$ 维向量，以及需要划分的簇数 $K$。
• 输出：$K$ 个簇，每个簇包含若干样本点，并且每个簇有一个中心点（centroid）。
• 假设：样本点更靠近同一个簇的中心点，而与不同簇的中心点较远。
• 目标：通过迭代优化，使得每个样本点到其所属簇中心的距离平方和（即簇内方差）最小。

1.2 应用场景

K-Means 被广泛应用于：

• 数据分析：客户分群（如市场细分）、图像分割。
• 特征工程：数据降维、聚类特征提取。
• 模式识别：文本分类、异常检测。
• 推荐系统：用户行为聚类。
• 例如：将电商用户按购买习惯分成“高端消费者”“普通消费者”“低频用户”等。

---

2. K-Means 算法步骤

K-Means 是一个迭代算法，核心步骤如下：

1. 初始化：

   • 随机选择 $K$ 个样本点作为初始簇中心（centroids）。（也可以用其他方法，如 K-Means++，后面会介绍。）

2. 分配簇（Assignment Step）：

   • 对每个样本点 $x_i$，计算它到所有 $K$ 个簇中心的欧几里得距离（或其他距离度量），并将该点分配到距离最近的簇中心所属的簇。
   • 数学上，假设簇中心为 { μ1,μ2,...,μK}\{\mu_1, \mu_2, ..., \mu_K\}{ μ1​,μ2​,...,μK​}，样本 $x_i$ 被分配到簇 $C_j$，其中：
     $j=\arg {\min }_k\Vert x_i-{\mu }_k{\Vert }^2$

3. 更新簇中心（Update Step）：

   • 对每个簇，计算该簇内所有样本点的均值，更新簇中心：
     ${\mu }_j$