- 博客(3)
- 收藏
- 关注
RSS订阅原创 【论文笔记】Trident利用视觉基础模型进行高性能、免训练的开放式词汇切分
图( b )和图( d )分别表示CLIP的图像编码器的最后一个Transformer块和DINO的特征图中的注意力权重和余弦相似度图。简单说，以前类似方法用的都是先分割再拼接的模式，本文采取了先拼接再分割的模式。首先将子图像中提取的CLIP和DINO特征进行拼接，然后用SAM的编码器创建融合全局信息的特征矩阵，扩大了用于分割的感受野。首先将子图像中提取的CLIP和DINO特征进行拼接，然后用SAM的编码器创建融合全局信息的特征矩阵，扩大了用于分割的感受野。左：青蛙类的激活图(上)和分割结果(下)。
2024-11-20 11:31:46
509
1
原创 【论文笔记】FreeSeg-Diff使用扩散模型进行免训练的开放词汇分割
图像被传递给描述模型（即 BLIP）和扩散模型（即stable diffusion），以分别生成文本描述和视觉表示。这些特征经过聚类和二值化，以获得每个对象的类不可知掩码。然后，这些掩码被映射到文本类，使用 CLIP 模型来支持开放词汇表。最后用一个细化步骤，获得更精确的分割掩码。简单地说，就是用文生图模型的内部表示（特征）来查找与图像中不同对象相对应的集群。这会导致与类无关的掩码，然后将其映射到开放式列表中的对象类之一。特点：不依赖于任何训练、分割目标不被局限于训练集中的类别。
2024-11-18 17:22:47
338
1
原创 C3PO图像变化监测
上面三个减法运算，表示出现、消失、改变三种变化，下面两个分支保留原图信息。1、提出新的变化检测模型范式，将变化检测简化为语义分割。将变化细分为 出现、消失、改变3类，令模型分别学习。输出头：采用Deeplab等语义分割常用的输出头。骨干：通用网络，VGG ResNet等。利用FPN特征金字塔网络，完成特征融合。提出与语义分割解耦的变化检测模型。2、提出三种变化需要分别学习。3、提出C3PO模型。
2024-10-21 10:53:16
410
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人