35、基于软聚类树的可解释聚类方法

基于软聚类树的可解释聚类方法

1. 引言

在聚类分析领域，可解释性是一个重要的研究方向。传统的聚类方法往往缺乏可解释性，难以理解聚类结果背后的逻辑。本文介绍一种基于软聚类树的可解释聚类方法，该方法将问题转化为连续优化问题，可通过二阶优化器和可扩展的随机梯度下降（SGD）优化高效求解。

2. 可解释聚类方法

2.1 谱聚类和核主成分分析（KPCA）聚类

• 谱聚类 ：通过对k近邻图的图拉普拉斯矩阵应用拉普拉斯特征映射算法进行谱分解来计算(\overline{X})。
• KPCA聚类 ：使用核函数进行非线性降维来计算(\overline{X})，实验中使用径向基函数（RBF）核。

2.2 软聚类树的可扩展训练

为了解决大规模数据集的可解释聚类问题，提出了软聚类树的可扩展训练方法。具体步骤如下：
1. 引入正则化项 ：为了避免训练过程中分支节点将几乎所有数据点导向一个子树的问题，引入正则化项(\pi)，鼓励分支节点平等使用左右分支。
- (\pi = -\sum_{t\in T_B}\theta_t[0.5 \cdot \log(\alpha_t) + 0.5 \cdot \log(1 - \alpha_t)])
- (\alpha_t = \frac{\sum_{x_i\in X} Q_{i,l}(t)}{\sum_{x_i\in X} Q_{i,t}})
- (\theta_t = 2^{-depth(t)}) <