深度学习--无监督学习_无标签学习-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_63057596/article/details/145335731

深度学习，就是把我们的输入转化为一个高维的向量。一定程度上可以理解为编码，或者压缩。提取出特征，然后用这个特征去分类、回归，或者其他任务

学习目的：如何更好的提取特征

分类特征

模型提取的特征取决于你定的标签

无监督学习

无监督学习是指在没有给定明确标签或目标值的情况下，对数据进行分析和学习的方法。它旨在发现数据中的自然结构、模式或规律，例如将数据聚类成不同的组，或者学习数据的分布特征等。

意义：

大部分数据都没有标签，数据标注昂贵

方法

机器学习：

降维：PCA主成分分析
聚类

深度学习：

生成对抗网络
自监督学习：对比学习和生成式自监督

对比学习：让自己和自己靠得更近

原理：一张图片和增广后的图片一定是同一种，把自己和自己的增广图像当作一对，亲近自己远离别人

对抗生成网络GAN

生成器：生成假数据

判别器：接收一个假数据和真数据，判别哪个真哪个假

训练中，判别器判断越来越准，生成器生成的越来越以假乱真

判别器的梯度来源于对于真假的判别，生成器梯度来源于判别器的准确率

在模型学习中，我们要关注梯度从何而来，在回归任务中，梯度来源于预测的 y 和真实的 y 的差距

生成式自监督

自监督学习是一种特殊的无监督学习方法，它利用数据本身的特点，通过自动生成监督信号，将无监督学习问题转化为有监督学习问题来进行训练。其核心思想是通过设计各种自监督任务，让模型从数据中挖掘出内在的结构和模式，从而学习到有用的特征表示。

通过一个模型（编码器）提取特征，再通过特征经过模型（解码器）还原图片

生成式自监督学习

1、把图片一部分遮住，再还原

loss来源于真实图片与还原图片的差异，把图片的一部分当作了label

https://openaccess.thecvf.com/content/CVPR2022/html/He_Masked_Autoencoders_Are_Scalable_Vision_Learners_CVPR_2022_paper.html

2、把黑白还原为彩色

把自己当作标签

https://arxiv.org/abs/1603.08511

3、文中自监督

把文字遮住一部分，原始的文字当作标签

无监督之后--无监督预训练与下游任务

无监督预训练

定义：

无监督预训练是一种在大规模无标签数据上进行的训练方式，旨在学习数据的通用特征表示，然后将这些学到的知识迁移到其他具体任务中。它利用数据本身的结构和模式，通过各种无监督学习算法自动提取数据的特征，而不需要人工标注的标签信息。

方法：

基于自编码器的预训练：自编码器通过将输入数据编码为低维表示，再从低维表示解码重构出原始数据，学习数据的压缩表示和特征提取。变分自编码器（VAE）在此基础上引入了概率分布，使学到的特征表示具有更好的泛化性和生成能力。
基于生成对抗网络（GAN）的预训练：GAN 由生成器和判别器组成，生成器尝试生成与真实数据相似的样本，判别器则判断输入数据是真实的还是生成的。在无监督预训练中，通过对抗训练的方式让生成器学习到数据的分布，从而获得数据的特征表示。
基于对比学习的预训练：对比学习旨在通过对比不同的数据增强方式下的样本，学习到能够区分不同样本的特征表示。例如，将同一图像进行不同的随机数据增强（如裁剪、旋转、颜色变换等），然后让模型学习这些增强后的样本之间的相似性和差异性，从而提取出对图像内容更鲁棒的特征。

优势：

利用海量无标签数据：现实世界中存在大量无标签数据，无监督预训练能够充分利用这些数据，学习到丰富的特征信息，而无需耗费大量人力和资源进行数据标注。
提高模型泛化能力：通过在大规模无标签数据上进行预训练，模型可以学习到更通用的特征表示，这些表示能够捕捉到数据的一般规律，从而在不同的下游任务中具有更好的泛化性能。
减少对特定任务数据的依赖：对于一些特定任务，如果标注数据量有限，无监督预训练可以在一定程度上弥补数据不足的问题，使得模型在较少的特定任务数据上也能取得较好的性能。

局限性

计算资源消耗大：无监督预训练通常需要处理大规模的数据，并且模型结构往往比较复杂，训练过程需要大量的计算资源和时间。
预训练任务与下游任务的适配问题：虽然无监督预训练学习到的特征表示具有一定的通用性，但在某些情况下，预训练任务与具体的下游任务之间可能存在差异，导致预训练的效果不能很好地迁移到下游任务中，需要进行适当的调整和优化

下游任务--分类、回归...

定义：下游任务是指在完成无监督预训练之后，利用预训练模型所学到的特征表示来解决的具体实际任务。这些任务通常具有明确的目标和标注数据，例如图像分类、目标检测、文本情感分析、机器翻译等。

常见类型

图像领域
- 图像分类：图像分类到不同的类别
- 目标检测：在图像中检测出特定目标的位置和类别、标注边界框和类别
- 语义分割：将每个像素都分配到相应的语义类别中，实现对图像的精细语义理解，比如区分图像中的道路、建筑物、植被等不同区域
自然语言处理领域
- 机器翻译文本翻译
- 命名实体识别：识别文本中的命名实体，如人名、地名、组织机构名等。
- 文本分类：对文本进行分类，如将新闻文本分为政治、经济、体育等不同类别，或者对评论进行情感分类，判断是正面、负面还是中性情感。

无监督预训练为下游任务提供了通用的特征表示基础，通过在大规模无标签数据上的预训练，模型学习到了数据的一般特征和模式，这些知识可以帮助下游任务的模型更快地收敛和取得更好的性能。
在进行下游任务时，通常会基于无监督预训练得到的模型进行微调，根据下游任务的特点和标注数据，对模型的参数进行进一步调整和优化，以使模型更好地适配具体任务。

无监督学习可以训练出一个很好的提取特征模型