无监督学习:即只有数据,没有标签
在深度学习中,采用生成对抗网络和自监督学习(对比学习与生成式自监督)
对比学习: 让自己和自己靠得更近(取自己的增广来凑成一对)
GAN(对抗生成网络):
对抗生成网络分为生成器和判别器,生成器类比于做假货的,判别器相当于鉴定师,生成器会生成一个假货出来,同时会把真货一起送进判别器,判别器需要进行判别哪个为真哪个为假。
判别器的梯度来源其分辨真假的准确度,而生成器的梯度来源于判别器的准确率,这样他们两个一直在对抗,模型就会越来越好。
生成式自监督:取自己的一部分当作标签
比如说一张图片,mask(遮住)一部分,当作输入,然后通过模型去还原出原始图片
其梯度为原始图片和解码后的图片之间的差异。