深度学习过程中的专业术语记录

目录

1、有监督，无监督，半监督，自监督，弱监督

2、上游任务，下游任务

3、消融实验

4、全局平均池化为什么由矩阵变成向量

5、SOTA

---

1、有监督，无监督，半监督，自监督，弱监督

• 有监督：用有标签的数据训练；
• 无监督：用无标签的数据训练；
• 半监督：同时用有标签和无标签的数据进行训练。最近非常火热，此领域的发展也非常迅速，先前通常是两阶段的训练，先用（较小规模的）有标签数据训练一个Teacher模型，再用这个模型对（较大规模的）无标签数据预测伪标签，作为Student模型的训练数据；目前已经有很多直接end-to-end地训练，大大减少半监督训练的工作；
• 自监督：在无标注数据上训练，通过一些方法让模型学习到数据的inner representation，再接下游任务，例如加一个mlp作为分类器等。但接了下游任务之后还是需要在特定的有标签数据上finetune，只是有时候可以选择把前面的层完全固定，只finetune后面接的网络的参数。
• 弱监督：用包含噪声的有标签数据训练。

2、上游任务，下游任务

• 上游任务：预训练模型，一般就是利用上游数据进行预训练，以生成一个包含视觉表征能力的模型。
• 下游任务：下游任务是计算机视觉应用程序，用于评估通过自监督学习学习到的特征的质量。当训练数据稀缺时，这些应用程序可以极大地受益于预训练模型。 

比如，我们想要的是一个能够提取图片特征能力的卷积神经网络或者Transformer，我们会用大量图片用图片分类这个下游任务或者其他比如自监督的方法（可以参考CLIP）去进行训练，得到一个权重合适的模型（能够很好地提取出图像的特征），那么最后我们把得到的这个模型最后一层的FC层（原本用于图片分类输出类别）去掉，这个模型就成为了一个很好的预训练模型，输入一张图，就能够提取出图像的特征，就可以用于我们的下游任务（在这个模型后面加一些诸如检测头之类的模块，处理我们想要的下游任务，或者修改下FC层，用于另外一堆类别的图像分类）。

3、消融实验

• 消融实验：设立对照组，通过去除某个模块的作用，来证明该模块的必要性，如果消融实验后得到结果不好或者性能大幅下降，说明该模块起到了作用。

4、全局平均池化为什么由矩阵变成向量

• 全局平均池化是每一个channel得到一个元素，最后得到一个长度为channel的一维向量。

 

5、SOTA

• Sota实际上就是State of the arts 的缩写，指的是在某一个领域做的Performance最好的model，一般就是指在一些benchmark的数据集上跑分非常高的那些模型。
• SOTA model：并不是特指某个具体的模型，而是指在该项研究任务中，目前最好/最先进的模型。
• SOTA result：指的是在该项研究任务中，目前最好的模型的结果/性能/表现。

 

参考：

有监督、半监督、无监督、弱监督、自监督的定义和区别_半监督和无监督_dwqy11的博客-优快云博客计算机视觉的上游任务和下游任务_Jumbo星的博客-优快云博客

消融实验(ablation study)是什么？_深度学习消融实验_龙雪Zzz的博客-优快云博客