45、基于约束对数似然的半监督线性判别分析

基于约束对数似然的半监督线性判别分析

一、引言

监督学习旨在从示例中学习，给定有限的特定输入 - 输出关系实例，其目标是将这种关系推广到新的、未见过的数据，以便根据新输入预测相关输出。具体而言，监督分类旨在从有限的、可能较少的输入特征向量及其相关的期望输出类别标签中推断未知的特征向量 - 类别标签关系。

此时，一个基本问题是额外的未标记数据是否以及如何显著改善此类分类器的训练，这就构成了半监督分类或一般意义上的半监督学习问题。

半监督学习有望在许多分类问题至关重要的科学和应用领域带来巨大进展，因为可以利用大量可用的未标记数据，如计算机视觉、文本挖掘、检索、医学诊断、社会科学、心理测量学和计量经济学等领域。然而，到目前为止，半监督方法在计算机科学领域之外并未得到广泛接受，在其他领域使用较少。部分原因可能是当前方法无法保证性能，并且在大量未标记样本的情况下，性能往往会下降。

目前的半监督学习方法通常依赖于与所考虑分类器无关的假设，如簇假设（同一类的点聚集在一起）、平滑假设（相邻点具有相同标签）、低密度分离假设（决策边界位于低密度区域）等。虽然更精确地了解数据分布有助于训练更好的分类器，但在许多实际情况下，很难检查这些假设是否成立。一旦这些额外的模型假设与数据不匹配，添加未标记数据实际上可能导致分类性能严重下降，这与监督学习中大多数分类器通常能较好处理不匹配数据假设的情况形成对比。

二、相关工作

专注于半监督线性判别分析（LDA）的工作较少，相关贡献主要来自统计学领域，大多发表于20世纪60年代和70年代。

• 最大化所有可能标签排列的似然 ：有研究建议最