AASAE：通过数据增强替换KL

Abstract

通过数据增强替换KL正则化

Intro

对比损失

缺点：

• 没有原则性的方法来选择反例，因此每次选择这些否定有些随意。
• 由于负样本来自其他训练示例，对比损失函数无法对训练示例进行细化分解

非对比方法

优势：

• 消除了对负样本的依赖

方法：

• 通过正则化或约束数据集级别的统计信息来避免显式负例
• 使用minibatch训练近似难以计算的数据集级别的统计信息

缺点：

• 需要大型 minibatch
• 使用批处理级统计信息意味着损失也不可分解

两种方法

都十分重视通过数据增强的方法来结合领域知识

VAE

自动编码

确保单个输入和表示之间存在大致上一对一的映射
这可以防止内部表示崩溃到单个点上，类似于对比学习中批量统计的正则化中的反例。

潜在空间正则化

确保内部表示在语义上排列在紧凑的空间中。
这在对比和非对比方法中执行类似于数据增强的作用，但不同之处在于它与输入域无关。

第三类自监督学习算法

定义：通过数据增强来增强变分自动编码器

AASAE