1.14学习日记

今天学的是第六节：特征提取和无监督学习。不能再玩了……

一、深度学习与特征

        在图片分类网络之中，把所有提取特征的网络称为编码器/特征提取器，可以用于分类、目标检测、语义分割。深度学习，就是把输入转换成高维的向量，然后用这个特征进行分类、回归或其他任务。

二、无监督学习（Unsupervised learning）

        无标签y -> 现实生活中，大部分数据都没有标签。

      无监督学习方法：

        机器学习：

        1）降维：PCA（主成分分析）

        2）聚类

        深度学习：

        1）生成对抗网络（GAN，Genarative Adversarial Networks）

        包括生成器和判别器，生成器Genarator生成图像“骗”过判别器，判别器Discriminator找出生成器做的假数据。把判别器的准确率当作loss。

        但现在都是扩散模型。

        2）自监督学习：对比学习和生成式自监督

        对比学习：相似的样本应该被映射到相似的特征空间，而不同的样本则应被映射到远离的特征空间。经典模型：Simasaim

        生成式自监督：通过从无标签数据中自动生成标签，避免人工标注的成本。它通过设定任务来让模型学习数据中的潜在结构。这些任务一般是通过数据本身的某些部分进行预测或恢复，从而达到理解数据的目的。loss为原始图片和还原图片之间的差异，把自己的一部分作为标签。

     无监督学习的意义

        无监督预训练（pretrain）可以提取很好的特征，使下游任务(downstream)只需要少量数据就可以获得很好的效果