18、双学习与其他学习范式的关联及对比

双学习与其他学习范式的关联及对比

双学习的核心在于利用机器学习任务之间的结构对偶性来提升学习算法。当在不同环境下研究双学习时，它可能与其他相关学习算法或范式有相似之处。下面我们将详细探讨双学习与一些学习算法和范式的关联与区别。

1. 双半监督学习与协同训练

协同训练是一种半监督学习算法，用于从少量有标签数据和大量无标签数据中学习。它需要数据的两个视图，并假设每个数据样本由两个不相交的特征集描述，这两个特征集提供关于实例的不同且互补的信息：
- 两个视图条件独立，即数据样本的特征可划分为两个不相交的子集，且每个实例的两个特征集在给定类别标签的条件下是独立的。
- 每个视图足以进行预测，即仅通过每个视图（即每个特征子集）就能准确预测实例的类别标签。

协同训练的步骤如下：
1. 为每个视图使用所有有标签的训练示例学习一个单独的分类器。
2. 每个分类器对无标签数据的最有信心的预测被用于迭代构建额外的伪标签训练数据，以提升另一个分类器。

双半监督学习和协同训练都是半监督学习算法，都专注于从有标签和无标签数据中学习，且都涉及两个模型，这两个模型相互促进。但它们在以下几个方面存在差异：
|对比项|双半监督学习|协同训练|
| ---- | ---- | ---- |
|模型类型|采用两个异构模型，原模型从空间X映射到Y，对偶模型从空间Y映射到X|采用两个同构模型，两个分类器都从空间X映射到Y|
|应用范围|除分类外，还可应用于更复杂的问题，如序列生成问题（机器翻译、语音合成与识别、问答与生成）和图像与视频生成问题|主要用于分类问题|
|模型基础|基于深度神经网络|主要基于传统的“浅层