10、深度学习中超越全监督与半监督重建的方法探索

深度学习中超越全监督与半监督重建的方法探索

在深度学习领域，全监督学习和半监督学习一直是研究的重点。本文将介绍两种创新的模型：ResNet - WELDON模型和HybridNet模型，探讨它们在图像分类和半监督学习中的应用。

1. ResNet - WELDON模型

ResNet - WELDON深度架构由特征提取网络和预测网络两个子网络组成。

1.1 特征提取网络

• 架构基础 ：基于ResNet - 101，用于从整个图像中提取具有良好空间分辨率的局部特征。
• 输入输出 ：输入为RGB图像$h_i×w_i$（$h_i$为高度，$w_i$为宽度），输出是$h×w×2048$的特征图，其中$h = \frac{h_i}{32}$，$w = \frac{w_i}{32}$分别是图像水平和垂直方向上滑动窗口的位置数量。
• 权重初始化 ：特征提取网络的权重在ImageNet上进行初始化。

1.2 预测网络设计

预测网络旨在选择相关区域，以正确预测全局（结构化）图像标签，它由以下两层组成：
- 转移层（Transfer Layer） ：
- 作用 ：将特征提取网络在大规模数据集上的权重转移到新的目标数据集。
- 转换过程 ：将特征提取网络的输出$F_{fe}$转换为大小为$h×w×C$的特征图$F_