Hunting Attributes: Context Prototype-Aware Learning for Weakly Supervised Semantic Segmentation 笔记

动机：弱监督语义分割中类激活图CAM的生成是关键，但目前面临的挑战是CAM不够完整。当前的研究方法是基于原型prototype 。

如图可以看到（a）中采用单个原型single prototype 生成的CAM不够完整，在（a） 的基础上，一些学者又提出了采用上下文型原型context prototype 的方法。从图可以看到生成的CAM更加完整，但是也相应的错误的激活了一些相似类的部分。这是因为同一类之间是存在变化的，从特殊到一般再到特殊，这种知识的迁移是有难度的。特殊（instance prototype）与一般( context  protote)之间存在偏差，作者因此提出了感知上下文原型学习策略a Context Prototype-Aware Learning (CPAL) strategy来缓解这种偏差。

整体架构图：

输入一张图片，图片经过特征提取器得到特征图f，f再经过全局平均池化得到一维的特征图，一维特征图再经过全连接层得到分类预测的结果。根据预测的结果可以得到初始版本的CAM，初始版本的CAM再与上下文原型感知学习生成的图融合得到PACAM（即优化后的CAM图）。PACAM再经过微调得到伪标签（即掩码），将掩码送进分割模型。

实验方法：上下文原型感知学习

作者将实例原型作为Anchor,对每一张图片得到的实例原型存在仓库（support bank）里，训练时是按批次处理，每一批的实例原型采用聚类的方法，根据类别得到一些组，这些组再创建一个原型，提炼出最具有代表性的特征向量，也就是具有上下文关系的原型（context prototypes）,将与实例原型关系密切的上下文原型放进候选邻居集。作者是根据正相关分数来评估是否关系密切，然后选取前k 个放进候选邻居集。作者再令实例原型的特征向邻居（上下文原型）对齐。

生成原型方法:

正相关分数的计算：

特征对齐时偏移量的计算：

实验

与当前实验比较：

消融实验：