xyz73的博客

拟议的 FRINet 总体框架。首先旋转原始支持图像和查询图像以获得具有不同方向的支持图像和查询图像。然后，利用分割预训练的主干作为特征提取器来获取相应的支持和查询特征。然后，利用类别一致但方向变化的原型，网络为方向变化的查询特征提供旋转自适应匹配。为了鼓励网络做出方向一致的预测，不同方向的分割结果由相同的地面事实监督。最后，将不同方向的预测互补融合以获得最终的旋转不变预测。目的：高效分割具有不同朝向的航空语义对象。

基于我们的实验，我们提出的方法在挑战中给出的小样本OpenEarthMap数据集的验证集上，将一个简单微调的SegGPT的加权mIoU从15.96提升到35.08。此外，为了增加同一物体的特征相似性，同时保持不同物体的特征区分性，像素信息通过一个简单的边界辅助融合模块( Boundary Auxiliary Fusion Module，BAFM )传播到整个物体区域，其中预测的物体边界作为高级指导来细化低级卷积特征。此外，现有的旋转不敏感算法的置信度分数的振荡，是由显著的变化产生的。提供全面的训练样本。

可以看出，局部分支提取的局部上下文保留了丰富的局部特征但缺乏空间一致性，而全局分支捕获的全局上下文具有更一致的特征但缺乏局部性。因此，为了充分利用Transformer的全局上下文提取能力，同时又不会导致较高的计算复杂度，本文提出了一种基于CNN编码器和Transformer解码器的UNet - like Transformer，用于对遥感城市场景图像进行高效的语义分割。卷积层用于提取局部上下文。所提出的高效全局-局部注意力的双分支结构的优势在于，它可以提取足够的全局上下文信息，同时保留细粒度的局部信息。

初读论文，记录笔记。