本文详细介绍了深度学习中的关键术语，包括Backbone（主干网络）如ResNet、VGG，它们用于特征提取；Head（头部网络）负责利用特征进行预测；Neck（颈部网络）连接Backbone和Head，优化特征利用；Bottleneck（瓶颈层）减少维度；GAP/AP（全局平均池化）用于特征汇总；Embedding（嵌入）将数据转化为向量；Ground truth（真值）是监督学习的标准答案；Pretext task（前置任务）和Downstream task（下游任务）分别用于预训练和微调；Temperature parameters（温度参数）影响softmax输出的平滑度；Warm up（热身）是指小学习率的初期训练；End-to-End（端到端）意味着输入直接映射到输出；最后，探讨了Domain adaptation（域适应）和Domain generalization（域泛化）在迁移学习中的角色。
文章目录
Backbone
翻译为主干网络的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet、VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进行训练，因为加载的backbone模型已经具有提取特征的能力了，在我们的训练过程中，会对他进行微调，使得其更适合于我们自己的任务。
Head
head是获取网络输出内容的网络，利用之前提取的特征，head利用这些特征，做出预测。
Neck
是放在backbone和head之间的，是为了更好的利用backbone提取的特征。
Bottleneck
瓶颈的意思，通常指的是网网络输入的数据维度和输出的维度不同，输出的维度比输入的小了许多，就像脖子一样，变细了。经常设置的参数 bottle_num=256，指的是网络输出的数据的维度是256 ，可是输入进来的可能是1024维度的。
GAP/AP
在设计的网络中经常能够看到gap这个层，我之前不知道是干啥的，后了解了，就是Global Average Pool全局平均池化，就是将某个通道的特征取平均值，经常使用AdaptativeAvgpoold(1)，在pytorch中，这个代表自适应性全局平均池化，说人话就是将某个通道的特征取平均值。
self.gap = nn.AdaptiveAvgPool2d(1)
Embedding
深度学习方法都是利用使用线性和非线性转换对复杂的数据进行自动特征抽取，并将特征表示为“向量”（vector），这一过程一般也称为“嵌入”（embedding）
Ground truth
翻译的意思是地面实况，放到机器学习里面，再抽象点可以把它理解为真值、真实的有效值或者是标准的答案。训练集对监督学习技术的分类的准确性。这在统计模型中被用来证明或否定研究假设。“ground truth”这个术语指的是为这个测试收集适当的目标（可证明的）数据的过程。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
