Masked Autoencoder论文中 fine-tuning 和 linear probing含义

自监督学习任务中，将预训练模型转移到下游任务时，通常需要进行fine-tuning。

常见的方法有两种：

1. full fine-tuning（更新所有模型参数），具体来说，冻结预训练模型的部分卷积层（通常是靠近输入的多数卷积层，因为这些层保留了大量底层信息）甚至不冻结任何网络层，训练剩下的卷积层（通常是靠近输出的部分卷积层）和全连接层

2. linear probing （只更新最后一个linear layer参数），具体来说，训练后，要评价模型的好坏，通过将最后的一层替换成线性层。 预训练模型的表征层的特征固定，参数固化后未发生改变，只通过监督数据去训练分类器（通常是Softmax分类器或者SVM分类器等等）。只训练这个线性层就是linear probe。