[Machine Learning]聚类任务、性能度量、距离计算

  Note:本文系笔者学习机器学习过程中的学习笔记，期间加有个人的见解，如有错误，欢迎评论区留言讨论，共同进步。

一、聚类任务

  聚类，即根据数据的“相似性”将数据集中的样本划分成若干个通常是不相交的子集，每一个子集称为一个**“簇”（cluster）**；需注意，聚类过程仅能自动形成簇结构，簇所对应的概念语义需由使用者来把握和命名。

  形式化地说，假定样本集 D = { x 1 , x 2 , . . . , x m } D{\rm{ = \{ }}{{\rm{x}}_1}{\rm{,}}{{\rm{x}}_2}{\rm{,}}...{\rm{,}}{{\rm{x}}_m}{\rm{\} }} D={x1​,x2​,...,xm​}包含$m$个无标记样本，每个样本$x_i=(x_{i1};x_{i2};...;x_{in})$是一个$n$维特征向量，则聚类算法将文本集$D$划分为$k$个不相交的簇 { C l ∣ l = 1 , 2 , . . . , k } \{ {C_l}|l = 1,2,...,k\} {Cl​∣l=1,2,...,k}，其中$C_{l^{\prime }}{\cap }_{l^{\prime }̸=l}{C}_l=\varnothing$且$D={\cup }_{l=1}^k{C}_l$.相应地，我们用 λ j ∈ { 1 , 2 , . . . , k } {\lambda _j} \in \{ 1,2,...,k\} λj​∈{1,2,...,k}表示样本$x_j$的**“簇标记”（cluster label）**，即$x_j\in C_{{\lambda }_j}$.于是，聚类的结果可用包含$m$个元素的簇标记向量$\lambda =({\lambda }_1;{\lambda }_2;...;{\lambda }_m)$表示。

  评估两个不同样本之间的“相似性”（即性能度量），通常使用的方法就是计算两个样本之间的“距离”（即距离计算）。使用不同的方法计算样本之间的距离会关系到聚类结果的好坏。

二、性能度量

  性能度量，即聚类的有效性指标（validity index）。根据聚类任务，我们希望得到的聚类结果是“簇内相似度”（intra-cluster similarity）高且“簇间相似度”（inter-cluster similarity）低。

2.1、“外部指标”（external index）

  对于数据集 D = { x 1 , x 2 , . . . , x m } D{\rm{ = \{ }}{{\rm{x}}_1}{\rm{,}}{{\rm{x}}_2}{\rm{,}}...{\rm{,}}{{\rm{x}}_m}{\rm{\} }} D={x1​,x2​,...,xm​}，假定通过聚类给出的簇划分为 C = { C 1 , C 2 , . . . , C k } C = \{ {C_1},{C_2},...,{C_k}\} C={C1​,C2​,...,Ck​}，参考模型给出的簇划分为 C ∗ = { C 1 ∗ , C 2 ∗ , . . . , C s ∗ } {C^*} = \{ C_1^*,C_2^*,...,C_s^*\} C∗={C1∗​,C2∗​,...,Cs∗​}.相应地，令$\lambda$与${\lambda }^{\ast }$分别表示与$C$和$C^{\ast }$对应的簇标记向量.我们将样本两两配对考虑，定义
a = ∣ S S ∣ , S S = { ( x i , x j ) ∣ λ i = λ j , λ i ∗ = λ j ∗ , i &lt; j } , a = \left| {SS} \right|,SS = \{ ({x_i},{x_j})|{\lambda _i} = {\lambda _j},\lambda _i^* = \lambda _j^*,i &lt; j\} , a=∣SS∣,SS={(xi​,xj​)∣λi​=λj​,λi∗​=λj∗​,i<j}, b = ∣ S D ∣ , S D = { ( x i , x j ) ∣ λ i = λ j , λ i ∗ ≠ λ j ∗ , i &lt; j } , b = \left| {SD} \right|,SD = \{ ({x_i},{x_j})|{\lambda _i} = {\lambda _j},\lambda _i^* \ne \lambda _j^*,i &lt; j\} , b=∣SD∣,SD={(xi​,xj​)∣λi​=λj​,λi∗​̸​=λj∗​,i<j}, c = ∣ D S ∣ , D S = { ( x i , x j ) ∣ λ i ≠ λ j , λ i ∗ = λ j ∗ , i &lt; j } , c = \left| {DS} \right|,DS = \{ ({x_i},{x_j})|{\lambda _i} \ne {\lambda _j},\lambda _i^* = \lambda _j^*,i &lt; j\} , c=∣DS∣,DS={(xi​,xj​)∣λi​̸​=λj​,λi∗​=λj∗​,i<j}, d = ∣ D D ∣ , D D = { ( x i , x j ) ∣ λ i ≠ λ j , λ i ∗ ≠ λ j ∗ , i &lt; j } , d = \left| {DD} \right|,DD = \{ ({x_i},{x_j})|{\lambda _i} \ne {\lambda _j},\lambda _i^* \ne \lambda _j^*,i &lt; j\} , d=∣DD∣,DD={(xi​,xj​)∣λi​̸​=λj​,λi∗​̸​=λj∗​,i<j},注：由于每个样本对$(x_i,x_j)(i<j)$仅能出现在一个集合中，因此有$a+b+c+d=m(m-1)/2$成立。
  一般地，我们有以下常用的聚类性能度量外部指标：

• $Jaccard$系数（Jaccard Coefficient，简称JC）$$JC=\frac{a}{a+b+c}$$
• $FM$指数（Fowlkes and Mallows Index，简称FMI）$$FMI=\sqrt{\frac{a}{a+b}\cdot \frac{a}{a+c}}$$
• $Rand$指数（Rand Index，简称RI）$$RI=\frac{2(a+d)}{m(m-1)}$$
    综上，上述性能度量的结果值均在$[0,1]$区间，值越大越好。

2.2、“内部指标”（internal index）

  对于聚类结果的簇划分 C = { C 1 , C 2 , . . . , C k } C = \{ {C_1},{C_2},...,{C_k}\} C={C1​,C2​,...,Ck​}，定义$$avg(C)=\frac{2}{\left|C\right|(\left|C\right|-1)}{\sum }_{1\le i<j\le |C|}dist(x_i,x_j)$$$$diam(C)=\underset{1\le i<j\le |C|}{\max }dist(x_i,x_j)$$$$d_{\min }(C_i,C_j)=\underset{x_i\in C_i,x_j\in C_j}{\min }dist(x_i,x_j)$$$$d_{cen}(C_i,C_j)=dist({\mu }_i,{\mu }_j)$$
其中，$dist(\cdot ,\cdot )$计算两个样本之间的距离；$\mu$代表簇$C$的中心点$\mu =\frac{1}{|C|}{\sum }_{1\le i\le |C|}{x}_i$.显然，$avg(C)$对应于簇$C$内样本间的平均距离，$diam(C)$对应于簇$C$内样本间的最远距离，$d_{\min }(C_i,C_j)$对应于簇$C_i$与簇$C_j$最近样本间的距离，$d_{cen}(C_i,C_j)$对应于簇$C_i$与簇$C_j$中心点间的距离.
  一般地，我们有如下常用聚类性能度量内部指标：

• $DB$指数（Davies-Bouldin Index，简称DBI）$$DBI=\frac{1}{k}\sum _{i=1}^k\underset{j̸=i}{\max }\left(\frac{avg(C_i)+avg(C_j)}{d_{cen}({\mu }_i,{\mu }_j)}\right)$$
• $Dunn$指数（Dunn Index，简称DI） D I = min ⁡ 1 ≤ i ≤ k { min ⁡ j ≠ k ( d min ⁡ ( C i , C j ) max ⁡ 1 ≤ l ≤ k d i a m ( C l ) ) } DI = \mathop {\min }\limits_{1 \le i \le k} \{ \mathop {\min }\limits_{j \ne k} ({{{d_{\min }}({C_i},{C_j})} \over {{{\max }_{1 \le l \le k}}diam({C_l})}})\} DI=1≤i≤kmin​{j̸​=kmin​(max1≤l≤k​diam(Cl​)dmin​(Ci​,Cj​)​)}
    综上，$DBI$值越小越好，$DI$值越大越好。

三、距离计算

3.1、距离度量

  对于$dist(\cdot ,\cdot )$，其距离度量（distance measure）满足：

• 非负性：$dist(x_i,x_j)\ge 0$
• 同一性：$dist(x_i,x_j)=0$，当且仅当$x_i=x_j$
• 对称性：$dist(x_i,x_j)=dist(x_j,x_i)$
• 直递性（三角不等式）：$dist(x_i,x_j)\le dist(x_i,x_k)+dist(x_k,x_j)$

3.2、闵可夫斯基距离及其推广

  对于给定样本$x_i=(x_{i1};x_{i2};...;x_{in})$与$x_j=(x_{j1};x_{j2};...;x_{jn})$，有闵可夫斯基距离（Minkowski distance）：$$dis{t}_{mk}(x_i,x_j)={\left(\sum _{u=1}^n\left|x_{iu}-x_{ju}\right|\right)}^{\frac{1}{p}}$$即$x_i-x_j$的$L_p$范数${\Vert x_i-x_j\Vert }_2$;对$p\ge 1$，显然满足距离度量的基本性质。
  有如下推广：
$p=2$时为欧氏距离：$$dis{t}_{ed}(x_i,x_j)={\Vert x_i-x_j\Vert }_2=\sqrt{\sum _{u=1}^n{\left|x_{iu}-x_{ju}\right|}^2}$$$p=1$时为曼哈顿距离：$$dis{t}_{man}(x_i,x_j)={\Vert x_i-x_j\Vert }_1=\sum _{u=1}^n\left|x_{iu}-x_{ju}\right|$$

3.3、连续属性与离散属性

  连续属性即“数值属性”，在定义域内有无穷多个取值，因其能直接在属性值上计算距离，故又称为“有序属性”；
  离散属性即“列名属性”，在定义域上有有限个取值，因其不能直接在属性值上计算距离，故又称为“无序属性”。