CRRNet:用于显著目标检测的通道关系推理网络
1. 多尺度特征处理
在显著目标检测中,对于输出特征 FF,我们使用一个 3×3 的卷积层来融合通道,并生成不同尺度的粗略图。然后,利用双线性插值 interp(·) 将这些图转换为原始图像大小。用 $P = {P_1, P_2, P_3, P_4, P_5}$ 表示相应层级的单通道图,计算公式如下:
$P_i = interp(Conv(FF_i))$
对于浅层解码器层($i = 1, 2$),用于提取多尺度边缘特征。使用显著目标的边缘来约束相应特征,并采用交叉熵损失函数:
$L_{edge} = - \sum_{i=1}^{2} \sum_{j=1}^{L} \sum_{c\in{0,1}} [\delta(E_j = c)\log(P_{i,j} = c)]$
其中,$L$ 表示像素数量,$E$ 指显著目标的边缘,$P$ 指预测的边缘图,$\delta$ 是指示函数。
对于较深层($i = 3, 4, 5$),用于生成多尺度显著内部特征,损失函数为:
$L_{sal} = - \sum_{i=3}^{5} \sum_{j=1}^{L} \sum_{c\in{0,1}} [\delta(G_j = c)\log(P_{i,j} = c)]$
这里,$G$ 表示显著目标的真实标注,$P$ 表示预测的显著性图。
2. 通道关系推理模块
特征 FF 包含多尺度显著特征和边缘特征。通道图可视为对特征的表达或响应,且这些特征是相关的。我们利用图卷积网络(GCN)来推断通道之间的关系,以增强特征表达。
超级会员免费看
订阅专栏 解锁全文
1052

被折叠的 条评论
为什么被折叠?



