线性探测（LinearProbing）是一种用于评估预训练模型性能的方法，通过替换模型的最后一层为线性层并保持其余部分不变。在此过程中，仅训练这个线性层，以测试模型的表征学习能力。该技术常用于自监督学习模型的评测，如何恺明的MAE模型。线性探测通常涉及使用Softmax或SVM等分类器，并通过监督数据进行训练。
【Linear Probing | 线性探测】深度学习 线性层
1. 作用
自监督模型评测方法
是测试预训练模型性能的一种方法，又称为linear probing evaluation
2. 原理
训练后，要评价模型的好坏，通过将最后的一层替换成线性层。
预训练模型的表征层的特征固定，参数固化后未发生改变，只通过监督数据去训练分类器（通常是Softmax分类器或者SVM分类器等等）。
只训练这个线性层就是linear probe。
3. 出处
何恺明MAE
https://zhuanlan.zhihu.com/p/432614068
4. 参考
https://blog.youkuaiyun.com/LoseInVain/article/details/103870157
https://blog.youkuaiyun.com/qq_23981335/article/details/122576120
扫一扫
74
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
