13、基于表示分离的鲁棒语义分割实验结果解析

基于表示分离的鲁棒语义分割实验结果解析

1. 数据集

在语义分割算法评估中，常用到五个数据集，分别是Cityscapes、ADE20K、PASCAL Context、COCO-Stuff-10K和COCO-Stuff-164K。这里不详细阐述每个数据集的细节，感兴趣的可以查阅相关原始资料。

2. 实现细节

2.1 实验基础

以MMSegmentation工具盒为基础开展所有实验。为保证使用具有强一致性建模能力的预训练transformer，选用了如CSWin、ViT-AugReg和BEiT等编码器。

2.2 数据处理与训练设置

• 数据增强 ：采用默认的数据增强技术来丰富训练数据。
• 训练协议 ：
  • 普通ViTs和金字塔ViTs的训练设置遵循各自之前的训练协议，确保不同模型间的公平比较。
  • 采用BEiT骨干网络的模型，遵循原论文中的训练协议。
  • 采用ViT-AugReg骨干网络的模型，遵循与BEiT模型相同的训练设置，初始学习率为2e - 5，权重衰减为0.01。
  • 所有数据集的批大小均为16，不同数据集会有特定的裁剪大小和训练迭代次数。
  • 采用CSWin骨干网络的模型，在Cityscapes数据集上训练时采用SegFormer和HRViT的训练协议。

2.3 测试阶段

• 普