semi-supervised learning

半监督学习[1]

当根据手头仅有的标注数据，会将一些虽然没有标注但可被观测到的数据进行一些合理的推测，其中推测主要基于两个假设：

• 聚类假设cluster assumption：假设数据间具有相同的聚类结构，同一类数据会落入同一个聚类类别内。
• 流形假设manifold assumption：假设数据分布在一个流形上，相近的样本具有相似的预测结果。

主要方式：

• 生成式方法(generative methods)： self-training
• 基于图的方法(graph-based methods):标签传播法（Label Propagation Algorithm）
• 低密度分割法(low-density separation methods):强制分类边界穿过输入空间的低密度区域，如S3VMs
• 基于分歧的方法(disagreement methods):其实也是自训练的一种，算法会生成多个学习器，并让它们合作来挖掘未标注数据，其中不同学习器之间的分歧是让学习过程持续进行的关键，如联合训练（co-training）

主要架构：

• 无监督预训练，先用未标注数据预训练模型后，再用标注数据进行微调
• 伪有监督训练，先从有标签数据中获得特征，再利用这些特征对无标签数据进行分类，选出分类正确对数据加入训练，往复循环。这个过程可能会加入一定对无标签噪声干扰网络训练。

一致性正则化

Consistency Regularization 的主要思想是：对于一个输入，即使受到微小干扰，其预测都应该是一致的。[2]

Ladder Networks For Semi-Sup