absence521的博客

*大型模型（也称为基础模型）的出现为 AI 研究带来了重大进步。Segment Anything (SAM) 就是这样一种模型，它是为图像分割任务而设计的。然而，与其他基础模型一样，我们的实验结果表明，SAM 在某些分割任务中可能会失败或表现不佳，例如阴影检测和伪装物体检测（隐藏物体检测）。这项研究首先为将大型预训练图像分割模型 SAM 应用于这些下游任务铺平了道路，即使在 SAM 表现不佳的情况下也是如此。

自然语言处理的一个重要范例是对通用领域数据进行大规模预训练，并适应特定任务或领域。随着我们对更大的模型进行预训练，完全微调（重新训练所有模型参数）变得不太可行。以 GPT-3 175B 为例 - 部署经过微调的模型的独立实例（每个实例具有 175B 个参数）的成本过高。我们提出了低秩自适应（LoRA），它冻结了预训练的模型权重，并将可训练的秩分解矩阵注入 Transformer 架构的每一层，大大减少了下游任务的可训练参数数量。

论文：Spider：A Unified Framework for Context-dependent Concept Segmentation。

传统机器学习根据训练数据集中的标注情况，有着不同的场景，主要包括：监督学习、弱监督学习、弱半监督学习、半监督学习。由于目标检测任务的特殊性，在介绍半监督目标检测方法之前，我们查看一下目标检测在四个方向上的具体设定：有监督目标检测：拥有大规模带标签的数据，包括完整的实例级别的标注，即包含坐标和类别信息弱监督目标检测：数据集中的标注仅包含类别信息，不包含坐标信息弱半监督目标检测：数据集中拥有部分实例级别的标注，大量弱标注数据，模型希望利用大规模的弱标注数据提升模型的检测能力半监督目标检测。

近年来，通道注意机制被证明在改善深层卷积神经网络（CNN）的性能方面提供了巨大的潜力。然而现有的大多数方法都致力于开发更复杂的注意模块以获得更好的性能，这不可避免地增加了模型的复杂性。为了克服性能和复杂度的矛盾，提出了一种高效的通道注意力（ECA）模块，该模块只需要很小的参数，同时可以带来明显的性能提升。通过对SENET中通道注意模块的剖析，我们实证地表明避免降维对于学习通道注意是重要的，适当的跨通道交互可以在显著降低模型复杂度的同时保持性能。

它使用了压缩和激励机制，在压缩阶段额外引出一个分支，该分支压缩全局空间信息学习到特征权重，此权重可以视作不同通道所分配的“注意力”，越重要的通道获得的权重越大，集中分配更多的资源训练学习。空间注意力的实施主要有两个步骤，首先在特征不同的通道上进行平均池化或最大池化，对比不同通道之间的像素值，来获得该像素点不同通道上最重要的部分。如上图所示，CBAM的主要目标是通过在CNN中引入绿色框所示的通道注意力和紫色框所示的空间注意力来提高模型的感知能力，从而在不增加网络复杂性的情况下改善性能。

旋转物体检测旨在识别和定位图像中任意方向的物体。在这种情况下，物体的方向在不同图像中差异很大，而一幅图像中存在多个物体方向。这种固有特性使得标准主干网络很难提取这些任意方向物体的高质量特征。在本文中，我们提出了自适应旋转卷积 (ARC)模块来应对上述挑战。在我们的ARC模块中，卷积核自适应地旋转以提取不同图像中方向不同的物体特征，并引入了一种高效的条件计算机制来适应图像中物体的大方向变化。这两种设计在旋转物体检测问题中无缝协作。

显著物体检测和伪装物体检测是相关但又不同的二元映射任务，这些任务涉及多种模态，具有共同点和独特线索，现有研究通常采用复杂的特定于任务的专家模型，可能会导致冗余和次优结果。我们引入了VSCode，这是一种具有新颖的2D提示学习的通用模型，用于联合解决四个SOD任务和三个COD任务，我们利用VST作为基础模型，并在编码器-解码器架构中引入2D提示，以在两个不同的维度上学习领域和任务特定的知识。提示辨别损失有助于解开特殊性。

在这项工作中，不是直接预测像素级分割模板，而是将参考图像分割描述为连续的多边形生成，然后将预测的多边形转换为分割模板。这是由一个新的序列到序列：多边形转换器-PolyFormer实现的，该框架将一系列图像面片和文本查询标记作为输入，并自动回归一系列多边形顶点。为了更准确地进行几何定位，我们提出了一个基于回归的解码器，它直接预测精确的浮点坐标，没有任何的坐标化误差。