84、开放词汇语义分割的简单基线方法

开放词汇语义分割的简单基线方法

1. 方法评估与优势

提出的方法在两种不同设置下进行评估：
- 跨数据集设置 ：模型在一个数据集上训练，在其他数据集上进行评估且不进行微调。两阶段框架展现出良好的泛化能力，在多个数据集上优于FCN方法，具体提升如下：
| 数据集 | mIoU提升 |
| ---- | ---- |
| Cityscapes | +13.1 |
| Pascal Context | +19.6 |
| ADE20k（150类） | +5.6 |
| ADE20k（847类） | +2.9 |
- 零样本设置 ：模型在数据集的部分已见类上训练，在所有类（包括已见和未见类）上评估。该方法能大幅超越先前的零样本分割方法，在不同数据集上的表现如下：
| 数据集 | 无自训练hIoU提升 | 有自训练hIoU提升 |
| ---- | ---- | ---- |
| Pascal VOC 2012 | +37.8 | +29.5 |
| COCO Stuff | +19.6 | +8.9 |

2. 相关工作

• 视觉 - 语言预训练 ：早期方法在小规模清理数据集上进行，通常需在特定下游任务上微调。近期工作探索了从网页获取的大规模噪声数据的益处，如CLIP采用对比学习方法，在零样本/开放词汇图像分类和图像 - 文本检索中表现出色，本文将其引入开放词汇语义分割。
• 语义分割 ：