Nick Blog

简而言之，就是对于特定任务，你如果认为随便找一张图片和对应的标签不具有代表性，可以将模型参数固定，初始化一个可学习的prompt图片，然后用同样的loss去更新prompt，这样，在推理阶段，可以直接使用这个迭代更新得到的prompt作为提示。在Painter中，每个类别的颜色是事先定义的，这导致模型学习到了任务特定的信息，而不是依据给定的prompt，按照其中的上下文含义进行分割。在推理阶段，可以给定一张图片和对应的标签作为prompt，将要推理的图片和prompt进行拼接。

将语义分割、实例分割、全景分割统一在同一个模型中的关键挑战在于，怎么为每个任务生成任务特定的object query，那么，该如何让每种任务的object query之间彼此区分呢？是从特定任务的GT中通过统计thing和stuff的数量得到的，所以不同任务的。进行更新（使用2层transformer），最后，将。次，的到初始化后的object query。本文的解决方案是，计算text query。之间是彼此区分的，那么只需要将。个可学习的Embedding和。之间的对比损失，因为。