课程笔记——Semi-supervised半监督学习

1.半监督学习

1.1 定义

• 监督学习样本数据 例如：图片+标签
• 半监督学习样本数据 例如：R个图片+标签，U个图片，通常U >> R。分类：transductive learning、inductive learning
• 直推式学习(transductive learning)：将无标签数据作为测试数据。该做法不算是欺骗（当应用label才算欺骗，该做法仅应用feature）
• 归纳学习(inductive learning)：无标签数据不作为测试数据，在training时还不知道testing set是什么样子，即事先无法利用testing set，需要先训练好model。
• 采用直推式学习/归纳学习取决于testing set是否已知

1.2 为什么采用半监督学习

• 不缺数据，缺带标签的数据且收集昂贵
• 人类行为也是在做半监督学习

1.3 课程内容

• 生成模型的半监督学习
• 低密度分离的假设
• 平滑性假设
• 更好表示

2.生成模型的半监督学习

在监督学习中：已知样本来自C₁ C₂两类，我们统计得到数据的先验概率P(C_i)和分类概率P(x|C_i)，假设每类数据均服从高斯分布，则其均值分别为$\mu$¹ $\mu$²，方差为$\Sigma$，由此可估测一个给定数据分类概率为：

而当给定一些无标签数据时，各概率数值的估测均会受到影响，故最终会影响分类 影响decision boundary。那么如何有效分类？做法如下：

• 初始化 $\theta$={ P(C₁),P(C₂),$\mu$¹,$\mu$²,$\Sigma$ }，初始化方法：可以用有标签数据先估测、random等方法

• 计算无标签数据的P_θ(C₁|x^μ)，该值取决于$\theta$

• 更新模型
  原来没有无标签数据时，$P($