什么是CH系数？

CH系数指的是Calinski-Harabasz指数，这是一种用于评估聚类结果质量的统计量，特别是在确定最优聚类数目时非常有用。

CH系数基于簇内离散度和簇间离散度的比值，较高的CH值表明聚类结构更加明显，簇间差异大而簇内差异小，因此好的聚类结果应该有较高的CH系数。

CH系数的计算公式如下：

$$CH(k)=\frac{B_k/(k-1)}{W_k/(n-k)}$$

这里每一个组成部分都有其特定的意义：

• $B_k$：簇间离散度，即各个簇质心与总质心之间的离散程度的加权和。它的值越大，表示簇之间的差异越大。

• $W_k$：簇内离散度，即每个簇内所有点到该簇质心的离散程度的加权和。它的值越小，表示簇内部的凝聚性越好。

• $k$：聚类的簇数。

• $n$：样本总数。

具体来说，公式中的每一项解释如下：

• $B_k/(k-1)$：簇间离散度的标准化，这里的 $k-1$ 是自由度，因为 $k$ 个簇就有 $k-1$ 个自由度（假设总质心固定的情况下）。

• $W_k/(n-k)$：簇内离散度的标准化，这里的 $n-k$ 同样是自由度，表示 $n$ 个样本减去已经聚类成簇的 $k$ 组后剩余的自由度。

具体计算方法如下：

1. 对于 $B_k$，先计算每个簇的质心，然后计算每个簇质心到总体质心的平方距离的加权和，权重是每个簇内的样本数量。

$$B_k=\sum _{i=1}^k{n}_i({\mu }_i-\mu {)}^2$$

其中，

• $n_i$ 是第 $i$ 簇的样本数量
• ${\mu }_i$ 是第 $i$ 簇的质心
• $\mu$ 是所有样本的总质心。

2. 对于 $W_k$，计算每个簇内所有样本到该簇质心的平方距离的加权和。

$$W_k=\sum _{i=1}^k\sum _{x_j\in C_i}(x_j-{\mu }_i{)}^2$$

其中，

• $x_j$ 是属于第 $i$ 簇的某个样本
• $C_i$ 是第 $i$ 簇的所有样本集合。
• ${\mu }_i$ 是第 $i$ 簇的质心

最后，将 $B_k$ 和 $W_k$ 根据上述公式标准化并求比值，即可得到CH系数。

在实际应用中，通常会计算不同 $k$ 值下的CH系数，选择使CH系数最大的 $k$ 值作为最优的聚类数目。

这是因为最大的CH系数表明簇间差异最大而簇内差异最小，从而说明聚类效果最好。