7、无监督学习与强化学习：原理、评估与实践

无监督学习与强化学习：原理、评估与实践

1. 无监督模型测试

评估无监督模型的性能颇具挑战，因为没有标签可用于对比最终得分。以下是几种常见的评估方法：
- 内部指标 ：例如轮廓系数，旨在使簇内相似度最大化，即簇内点彼此靠近，簇间相似度低。不过，内部指标得分高并不一定意味着在实际应用中效果好。
- 直接评估 ：在感兴趣的应用中直接评估。例如，一个实现搜索功能的网站可以测量用户使用不同聚类算法找到答案所需的时间，并通过 Beta 测试比较两种算法。这种方法最直接，但成本较高，尤其是需要大规模用户研究时。
- 替代用户判断 ：使用一组类别并自行创建黄金标准，理想情况下由评判者达成高度一致后得出。然后计算外部指标，评估聚类与黄金标准类别的匹配程度。下面介绍两种外部指标：

1.1 Rand 指数

Rand 指数通过考虑所有样本对，计算预测聚类和真实聚类中被分配到相同或不同簇的样本对数量，来衡量两个聚类之间的相似度。其计算公式如下：
[RI(A,B) = \frac{N_{11} + N_{00}}{\binom{n}{k}}]
其中，(N_{11}) 是在两个聚类中都被分组到同一簇的元素对数量，(N_{10}) 是在聚类 A 中被分组到同一簇但在聚类 B 中被分组到不同簇的元素对数量，(N_{01}) 是在聚类 B 中被分组到同一簇但在聚类 A 中被分组到不同簇的元素对数量，(N_{00}) 是在两个聚类中都被分组到不同簇的元素对数量。该指数值介于 0 和 1 之间，1 表示两个聚类完全相同，0 表示两个聚类没有共享任何元素