画心

这篇文章提出了一种名为 SED 的简单编码器解码器，用于结合 CLIP 的 open-vocabulary 能力实现了开放词汇语义分割。在多个语义分割数据集上的实验证明了 SED 在开放词汇准确性和效率方面的优势。当使用 ConvNeXt-B 时，SED 在 ADE20K 上的 mIoU 得分为 31.6%，并且在单个 A6000 上每张图像只需 82 毫秒。

在整合视觉语言模型 CLIP 的基础上，为了处理食物配料视觉表征中大的类内方差，该方法集成了两个创新模块，即图像到文本学习器 FoodLearner 和图像感知的文本编码器 Image-Informed Text Encoder，丰富了文本嵌入与图像特定的信息，从而有效地将知识从已知的食材转移到新的食材。通过在大规模食品相关图像文本对数据集上预训练 FoodLearner，OVFoodSeg 成功地将视觉信息与文本表示紧密地联系起来，从而有效地解决了食材图像分割中的大类内变化问题。

基于隐神经表示设计了一种隐式特征对齐函数，来替换现有的基于插值的不同分辨率特征对齐方案。可以更加方便和高效的对齐多个不同分辨率的特征。

训练在大规模互联网数据的基于扩散的生成模型在视觉表征上优势明显。本文基于预训练Stable Diffusion和CLIP一同构建了开放词汇的全景分割模型。

预训练的 CLIP 无法对 masked image 执行令人满意的分类，这是两阶段开放词汇分割模型的性能瓶颈。本文认为这是由于蒙面图像和 CLIP 的训练图像之间的显著域差距造成的。所以需要对 CLIP 进行微调

基于图像文本匹配的cost volume细化与预测分割。

最近计算机视觉由于Transformer获得了急速的发展，虽然域内性能有着上升趋势，但对鲁棒性或不确定性估计等特性的探索较少，这使人们对模型可靠性方面的进步水平产生了怀疑。现有一些工作虽然对此有所探索，但是主要集中在分类模型。这份工作在语义分割中开展了相关的探究，横跨了较旧的基于ResNet的架构到较新的Transformer架构：发现了尽管最近的模型更加鲁棒，但在不确定性估计上总体并未更可靠；探索了可以挽救的方法，并表明提升calibration也可以帮助其他不确定性指标，如misclassificati

使用生成方法建立的图像分割模型

Dual Super-Resolution Learning for Semantic Segmentation文章目录Dual Super-Resolution Learning for Semantic Segmentation说在开头网络结构性能增益参考链接原始链接：https://www.yuque.com/lart/papers/gdgzv8说在开头CVPR2020的一篇工作。引入了超分辨率恢复任务作为辅助任务，来帮助语义分割网络获得更高分辨率且更加良好预测。这篇文章不同于现有的方法

SegFix: Model-Agnostic Boundary Refinement for Segmentation原始文章： https://www.yuque.com/lart/papers/nfkhhz说在开头后处理算法本文提出了一种后处理算法，想要对标DenseCRF[Efficient inference in fully connected crfs with gaussian edge potentials]，最终实现了超越DenseCRF的性能。不过可惜的是，这里没有与Den

Structured Knowledge Distillation for Semantic Segmentation文章目录Structured Knowledge Distillation for Semantic Segmentation主要工作网络结构Pixel-wise distillationPair-wise distillationHolistic distillation优化过...

3D Graph Neural Networks for RGBD Semantic Segmentation文章目录3D Graph Neural Networks for RGBD Semantic Segmentation动机深度信息编码RGBD图像分割图神经网络贡献图构建传播模型预测模型效果实验细节对比结果消融实验总结思考相关链接原文章：https://www.yuque.com/...

Dual Attention Network for Scene Segmentation文章目录Dual Attention Network for Scene Segmentation相关工作本文工作双注意力网络Position Attention ModuleChannel Attention ModuleAttention Module Embedding with Networks双注...

Adaptive Affinity Fields for Semantic Segmentation文章目录Adaptive Affinity Fields for Semantic SegmentationAffinity Field Loss FunctionAdaptive Kernel Sizes from Adversarial Learning其他总结相关链接原始文档： htt...

FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation文章目录FastFCN: Rethinking Dilated Convolution in the Backbone for Semantic Segmentation相关工作DUpsample主要工作Joint Pyramid Up...

Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network文章目录Large Kernel Matters —— Improve Semantic Segmentation by Global Convolutional Network主要工作实验细节验证Large Kernel Co...

Learning a Discriminative Feature Network for Semantic Segmentation文章目录Learning a Discriminative Feature Network for Semantic Segmentation设计思想Smooth NetworkChannel attention blockRefinement residual ...

Gated Feedback Refinement Network for Dense Image Labeling文章目录Gated Feedback Refinement Network for Dense Image Labeling主要工作网络结构Gate UnitGated Refinement UnitStage-wise Supervision实验结果相关链接相关文章——LRN...

Knowledge Adaptation for Efficient Semantic Segmentation文章目录Knowledge Adaptation for Efficient Semantic Segmentation主要工作网络结构Auto-EncoderFeature AdapterAffinity Distillation ModuleTrain Process实验细节一些思...

Decoders Matter for Semantic Segmentation:Data-Dependent Decoding Enables Flexible Feature Aggregationhttps://www.yuque.com/lart/papers文章目录Decoders Matter for Semantic Segmentation:Data-Dependent ...