《机器学习》周志华-CH9（聚类）

9.1聚类任务

  聚类试图将数据集中的样本划分为若干个通常是不相交的子集，每个子集称为"簇"。

  假定样本集$D=x_1,x_2,...x_m$包含$m$个无标记样本

  每个样本$x_i=(x_{i1},x_{i2},...x_{in})$是一个$n$维向量

  聚类将样本集$D$划分维$k$个不相交的簇 { C l ∣ l = 1 , 2 , . . k } \{C_l|l=1,2,..k\} { Cl​∣l=1,2,..k}

9.2性能度量

  亦称聚类“有效性指标”（validity index）

  聚类结果与“簇内相似度”高且“簇间相似度”低
$$性能度量大致两类\{\begin{array}{ll}与“参考模型”比，“外部指标”& \\ 直接考虑结果，“内部指标”& \end{array}$$

  对数据集 D = { x 1 , x 2 , . . . x m } D=\{x_1,x_2,...x_m\} D={ x1​,x2​,...xm​}

  聚类给出的簇划分 C = { C 1 , C 2 , . . . , C k } C=\{C_1,C_2,...,C_k\} C={ C1​,C2​,...,Ck​}

  参考模型给的簇划分 C ∗ = { C 1 ∗ , C 2 ∗ , . . . , C k ∗ } C^*=\{C_1^*,C_2^*,...,C_k^*\} C∗={ C1∗​,C2∗​,...,Ck∗​}

  同时令$\lambda$与${\lambda }^{\ast }$分布表示$C$与$C^{\ast }$对应的簇标记向量

  其中，$a+b+c+d=C_m^2=\frac{m(m-1)}{2}$

  聚类性能度量外部指标：

9.3距离计算

  对函数$dist(\cdot ,\cdot )$,若它是一个“距离度量”（distance measure），则需满足一些基本性质：

• 非负性：$dist(x_i,x_j)\ge 0;$
• 同一性：$dist(x_i,x_j)=0;$当且仅当$x_i=x_j;$
• 对称性：$dist(x_i,x_j)=dist(x_j,x_i);$
• 直递性：$dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)$

  给定样本$x_i=(x_{i1};x_{i2};...;x_{in})$与$x_j=(x_{j1};x_{j2};...;x_{jn})$,最常用的是“闵可夫斯基距离”（Minkoski distance）
$$\begin{array}{c}dis{t}_{mk}(x_i,x_j)=(\sum _{u=1}^n|x_{iu}-x_{}\end{array}$$