一只禾的博客

1.什么是伪标签 伪标签方法是一种同时从未标记数据和标记数据中学习的监督范式。将具有最大预测概率的类作为伪标签。形式化后等价于熵正则化（Entropy Regularization)或熵最小化（Entropy Minimization). 根据半监督学习的假设，决策边界应该尽可能通过数据较为稀疏的区域，即低密度区域，从而避免把密集的样本数据点分到决策边界的两侧，也就是说模型需要对未标记数据做出低熵预测，即熵最小化。伪标签方法是有利于熵最小化的，即伪标签的目标其实就是熵最小化。 Loss function分为