1. 从“眼熟”到“眼尖”:AA-CLIP要解决什么问题?
大家好,我是老张,在AI和工业质检这个行当里摸爬滚打了十来年。这些年,像CLIP这样的多模态大模型横空出世,确实给我们带来了很多惊喜。它能把图片和文字联系起来,实现“看图说话”和“以文搜图”,能力非常通用。但不知道你们有没有遇到过这样的场景:当你拿一张有划痕的零件图片给CLIP看,然后问它“这张图正常吗?”,或者“哪里有缺陷?”,CLIP的表现往往有点“力不从心”。它可能更擅长识别“这是一个螺丝”,而不是判断“这个螺丝有没有问题”。
这就是CLIP在异常检测任务上的核心痛点——“异常不感知”。你可以把它想象成一个知识渊博但“神经大条”的专家。它认识世界上几乎所有的物体,但它的大脑里并没有专门为“异常”这个概念建立一个清晰的“档案柜”。当“正常”的螺丝和“异常”的螺丝同时出现时,CLIP对它们的文本描述(比如“一个正常的螺丝”和“一个有划痕的螺丝”)编码出来的特征向量,可能挨得非常近,几乎是“纠缠”在一起的。这就导致在后续的对比匹配中,视觉特征很难被明确地归到“正常”或“异常”的类别里去,模型自然就“眼拙”了。
AA-CLIP这篇CVPR 2025的工作,目标就是把CLIP从一个“认识万物”的博学者,训练成一个“明察秋毫”的质检员。它不要求CLIP忘记已有的知识,而是给它戴上一副“异常感知”的眼镜。这副眼镜的核心镜片,就是我今天想跟大家重点聊的 “解耦损失”。这个损失函数干了一件非常巧妙且关键的事:它强行把“正常”和“异常”这两个概念在文本语义空间里“掰开”,让它们变得“泾渭分明”。一旦文本的指引清晰了,视觉特征的对齐就有了明确的方向,模型的“眼力”自然就变尖了。
2. 庖丁解牛:拆解AA-CLIP的两阶段训练框架
AA-CLIP的整个训练过程像是一个两步走的精修课程,目标明确,层次清晰。它不是对整个CLIP模型动大手术,而是用一种非常“轻量化”的方式,在关键部位进行微调。
2.1 第一阶段:给文本概念“分家”
这个阶段是AA-CLIP的灵魂所在,主要任务就是解决我们前面说的“概念纠缠”问题。想象一下,CLIP原本的文本编码器就像一个收纳混乱的仓库,“正常”和“异常”的标签被随意堆放在角落。我们现在要做的,就是给这两个标签分别设立两个独立的、距离很远的专属货架。
具体是怎么做的呢? 首先,作者在CLIP的文本编码器(Text Encoder)的前面几层Transformer模块里,插入了一些叫做 “残差适配器” 的小模块。你可以把它理解成给CLIP的“语言理解脑区”加装了几个专用的“微调芯片”。这些芯片非常轻量,参数很少,目的是在不干扰CLIP原有强大语言能力的前提下,让它对“正常/异常”这类描述产生更敏感、更特化的反应。
当我们输入“a normal [CLASS]”(一个正常的[某物体])和“an anomalous [CLASS] with [DEFECT]”(一个有[某种缺陷]的异常[某物体])这样的文本提示时,经过这个“加装芯片”的文本编码器,就会得到两个特征向量,我们称之为 “文本锚点”——一个是正常锚点(T_N),一个是异常锚点(T_A)。
关键来了! 如果放任不管,这两个锚点可能还是离得很近。这时,“解耦损失”就登场了。它的数学形式极其简洁:
L_dis = |<T_N, T_A>|^2
这个公式计算的是两个锚点向量内积的平方。向量的内积在几何上可以反映它们的夹角和方向一致性。内积为零意味着两个向量正交(垂直),也就是在空间里完全无关、方向差异最大。L_dis 的目标就是被最小化,它迫使模型在训练过程中,不断调
442



被折叠的 条评论
为什么被折叠?



