DSRG [CVPR18]

DSRG

paper: Weakly-Supervised Semantic Segmentation Network with Deep Seeded Region Growing

文章被18年的CVPR收录，文章的出发点是：CAM能够提供物体最具辨识度的区域，但是对于物体辨识度较低的区域没有识别出来，所以如何正确划分这些待定区域是主要要解决的问题。
作者考虑将CAM的结果作为初始种子，之后不断生长，为附近的待定的区域打上标签，以使得整张图像每个点都有确定的类别划分。

generate seed area S

1. 使用CAM获得图像$I$的高置信度的前景区域$R_C$，在使用基于saliency的传统算法得到背景的高置信度区域$R_0$。
2. 将$R=R_C+R_0$作为种子，这些区域大概了占到了整张图像的40%，所以剩下60%的待定区域就需要通过种子生长确定类别。将R作为初始种子区域$S$。

train network

图中S表示由CAM获得的类别识别区域。主干网络接受RGB图像$I$，输出对应$(N+1)$个类别的$(N+1)$张feacher maps/score maps/heat maps/attention maps，分别记作$H_{c’}，(c=0,1,2,...,N)$。

1. 将$(n+1)$张feature maps 融合成最后的一张分割图记作$H$。$H_{u,c}$表示在$H$的像素$u$被判定为类别$c$的置信度。
   $$H_{u,c}=\arg \max H_{u,c^{\prime }}$$
2. DSRG模块接受$H$和$S$作为输入，从种子区域$S$开始，依照$H$的信息进行扩展，扩展规则如下：
   • 对于位置$u$被识别为类别$c$的种子区域记作$S_{u,c}$，遍历$S_c$临近的(8个邻接位置)中的还没被标识类别的待定位置记作$S_{u^{\prime }}$。
   • 如果$H_{u’}$也是被判定为类别$c$，且$H_{u^{\prime },c}$的置信度高于阈值$\theta$，则将点$u^{\prime }$标识为类别$c$，更新$S_c=S_c\cup u^{\prime }$。
   • 结束所有的类别$c$的扩展后，会有很多待定区域被打上类别标识。尽管可能还有些区域还是待定。但是不管，在后续迭代中可能会被标识。
3. 扩展之后我们得到了更新后的分割图$G$，对应之前的$S$有了更多的标识区域。
4. $G$中现在有确定类别的点和待定的点，确定类别的点的置信度都设为1。将$G$作为label计算和$H$的交叉熵作为seed loss，注意计算交叉熵时只看确定标识的点。下式中$C$为前景类别，$\overline{C}$表示背景。
   $$\begin{array}{rl}{\ell }_{\text{ seed }}=& -\frac{1}{{\sum }_{c\in \mathcal{C}}\left|S_c\right|}\sum _{c\in \mathcal{C}}\sum _{u\in S_c}\log H_{u,c}-\frac{1}{{\sum }_{c\in \overline{\mathcal{C}}}\left|S_c\right|}\sum _{c\in \overline{\mathcal{C}}}\sum _{u\in S_c}\log H_{u,c}\end{array}$$
5. 为了获得更好的边界信息，所以作者在下面加了个CRF模块输入$H$，得到refined $H$，用于生成损失函数$l_{boundary}$。作者没有详细说明，但估计使用细节与SEC中的$l_{constrain}$相同。
6. 最终的loss即：
   $$\ell ={\ell }_{\text{seed}}+{\ell }_{\text{boundary}}$$

compare to SEC

可以看到本文的框架和SEC有很大的相似之处。都包含了种子的损失$l_{seed}$和边界损失$l_{boundary}$/$l_{constrain}$。
相同点：

1. 种子的初始区域都是由CAM提供。
2. 边界损失函数都是基于CRF。

不同点：

1. 虽然两者的前景种子区域都是由CAM提供，但是获得背景种子区域使用的方法不同。
2. 本文DSRG中的种子的损失函数$l_{seed}$是考虑了前景和背景的balance，而在SEC中没有考虑。实验表明balance带来了1.1%的优化。
3. 为了获得扩展区域SEC是引入了$l_{expand}$刺激DCNN生成更大的区域，而本文DSRG是通过逐步迭代种子扩展，生成优化的label，更新$S$区域从而影响$l_{seed}$刺激DCNN生成更大的区域。

addition

1. 基础框架使用VGG-16和Resnet101。
2. 在DCNN收敛后能够获得语义分割图，那这些DCNN生成的分割图暴力上采样回原图大小后，作为label使用全监督的做法训练从头训练一个网络，这一retrain做法能带来1.4%的优化。但是在拿生成的分割图监督又一个新的网络没有得到明显的优化。

performance

	VOC val12	VOC test12
baseline(SEC) [VGG16]	52.5	-
+BSL(balance) [VGG16]	53.6	-
+DSRG [VGG16]	57.6	-
Retrain [VGG16]	59.0	60.4
[Resnet101]	61.4	63.2