24、聚类的统计方法

聚类的统计方法

1. 引言

聚类分析在数据处理和分析中具有重要地位，它涉及到多个概率和统计主题。在探讨均值漂移算法之前，我们需要了解数据密度估计的相关知识，包括一维和多维数据的密度核。此外，还会研究k - 均值算法与期望最大化（EM）方法之间的关系。

2. 采样

采样是从统计总体中选择个体子集的过程，目的是估计整个总体的特征。
- 随机样本 ：设$X_1, \cdots, X_n$是通过采样过程获得的表示$n$个个体某一特征值的独立随机变量，它们相互独立且同分布，这个变量集合被称为大小为$n$的随机样本。
- 统计量 ：形如$T(X_1, \cdots, X_n)$的函数称为统计量，以下是一些常见统计量的定义：
- 样本均值 ：随机变量$\overline{X}$定义为$\overline{X} = \frac{1}{n}(X_1 + \cdots + X_n)$。若$E(X_i) = \mu$且$var(X_i) = \sigma^2$，则$E[\overline{X}] = \mu$，$var(\overline{X}) = \frac{1}{n}\sigma^2$。随着样本大小$n$的增加，样本均值的方差减小。
- 样本方差 ：样本$X_1, \cdots, X_n$的样本方差$S^2$定义为$S^2 = \frac{1}{n - 1}\sum_{i = 1}^{n}(X_i - \overline{X})^2$，其期望$E[S^2] = \sigma^2$。