多尺度交换的双胞胎对比搜索精读笔记11.07

1、与图像分类相比，重识别需要区分细粒度实例之间更细微的区别。

2、ReID（重识别）任务与标准的分类任务在训练集和验证集之间的类别分布上有本质的区别。

解释：

• ReID任务中的“开放集”：在车辆重识别（Vehicle ReID）或行人重识别（Person ReID）任务中，训练集和验证集是不共享完全相同的类别的。具体来说，训练集中的类别（例如，训练集中的不同车辆或行人）可能与验证集中的类别不完全重合。也就是说，训练集上的模型学到的特征并不完全适用于验证集中的所有样本，验证集可能包含一些新的、未在训练集出现过的类别。这种设置更接近现实场景中的应用，因为我们经常会遇到测试样本中包含新的、未知的类别。

• 标准分类任务中的“封闭集”：而在标准的分类任务（比如图像分类）中，训练集和验证集通常是共享相同类别的。也就是说，在训练时，模型学到的类别信息完全适用于验证阶段，模型的表现可以通过在验证集上看到的类别来衡量。这种设置是封闭集的，即验证集中的类别与训练集中的类别完全一致。

总结起来，ReID任务是开放集的，它的挑战在于如何在验证阶段处理训练集未见过的类别，而标准分类任务则是封闭集的，验证集和训练集的类别是相同的。

3、添加的框架和作用

双胞胎对比机制(TCM):解除训练集和验证集类别的绑定,减少训练和验证数据之间的类别重叠，并协助 NAS 模拟现实世界的 ReID 训练方案,可调整的类别重叠率建立了NAS和ReID之间的兼容性，这为ReID架构搜索提供了更合适的监督。

多尺度交互(MSI)：MSI空间重点关注网络浅层和深层的多尺度特征之间的交互操作，引导特征之间相互促进。

空间对齐模块(SAM):增强模型面对不同来源图像的注意力一致性。

通过上述 NAS 方案，我们获得了一个轻量级且有效的模型架构，称为多尺度交互网络（MSINet）。

4、MSINet与ResNet50之间的对比

与 ResNet50 相比，MSINet 侧重于与特定语义信息的更独特的区别来识别实例。 此外，MSINet 极大地增加了查询图像与相应负样本之间的距离。

5、SoftMax加权求和公式

6、

7、

“通过两个分支之间的相关性计算，可以得到一个相关性激活”这句话里面的相关性激活是什么意思？

这里的“相关性激活”（correlation activation）指的是通过计算两个特征分支之间的相似度或关联性所得到的一个激活矩阵或激活向量。

具体来说，相关性激活的含义如下：

1. 相关性计算：在两个特征分支（特征图）之间计算相关性。这通常是通过矩阵乘法来完成的——即将一个特征图的查询（query）与另一个特征图的键（key）相乘，得到一个矩阵，这个矩阵表示每一个通道（或位置）在两个特征图之间的关联程度。该矩阵的每一个元素值都反映了对应通道或位置之间的相似性或依赖性。

2. 激活的概念：这里的“激活”是指这个相关性矩阵（或向量）被当作一种掩码，或者说一种加权信息，用来对特征进行增强或抑制。通过在两个特征分支间交换键和计算相关性矩阵，这种激活信息可以表示两个分支之间的互相依赖关系，从而让模型知道哪些通道或位置在彼此间具有重要的关联。

3. 功能：相关性激活会进一步用于特征融合——通过一个可学习的比例将相关性激活叠加到原始特征上。这样可以将两个分支的相互关联性信息嵌入到特征中，使得特征更加表达其在全局语义中的重要性。

因此，相关性激活就是一个由交叉注意力计算得来的、用于表示分支间关联性的加权矩阵（或掩码），能更好地帮助模型综合来自不同特征图的有用信息。