21-CVPR-Exploiting Edge-Oriented Reasoning for 3D Point-Based Scene Graph Analysis 学习笔记

Abstraction

该模型将场景图生成分为了三个阶段：分别是场景图构造、场景图reasoning和场景图inference。

在reasoning阶段，提出了基于边的图卷积网络（EdgeGCN），以利用多维度的边特征进行明确的关系建模，同时探索节点和边缘之间的两个相关双重互动机制，以实现场景图表示的独立演化。

Contribution

• 为了赋予图卷积网络（GCN）以边缘辅助推理能力，我们提出了一个面向边缘的GCN（EdgeGCN），利用多维边缘特征进行明确的节点间关系建模。
• 进一步探讨了SG节点和边缘之间的两个结对交互，为每个单独的SG表征演化进行全面的SG推理，从而更好地感知和利用面向节点和边缘的视觉线索，通过注意的方式协助其他节点的演化。
• 我们的模型不仅仅在计算机辅助的三维场景合成或真实世界的三维扫描有效，且我们边缘驱动的互动方案也被证明在传统的图表示学习任务中是非常有效的

Method

$\mathcal{G}=(\mathcal{V},\mathcal{E})$

模型整体分为了三个部分：Scene Graph Construction、reasoning、inference

Scene Graph Construction

本文和3DSSG中使用两个分开的backbone来获取独立的物体和特定关系特征不同，本文通过共享一个单一的backbone来减少场景理解中的冗余，表示为${\mathcal{F}}_{\mathcal{B}}(\cdot )$来从$\mathcal{P}\in {\mathcal{R}}^{\mathcal{N}\times {\mathcal{C}}_{input}}$中获取点层面的特征${\mathcal{X}}_{\mathcal{P}}\in {\mathcal{R}}^{\mathcal{N}\times {\mathcal{C}}_{point}}$，其中${\mathcal{C}}_{input}$和${\mathcal{C}}_{point}$表示输入点相应的特征维度以及经过特征获取后的点的特征维度。${\mathcal{X}}_{\mathcal{P}}$被进一步传播，以方便对图中$m$个节点和$m^2$个边的表征进行初始建模。${\mathcal{X}}_{\mathcal{P}}$分别被表示为${\mathcal{X}}_{\mathcal{V}}\in {\mathcal{R}}^{\mathcal{N}\times {\mathcal{C}}_{node}}$和${\mathcal{X}}_{\mathcal{E}}\in {\mathcal{R}}^{m\times m\times {\mathcal{C}}_{edge}}$。

注意，这里的${\mathcal{F}}_{\mathcal{B}}(\cdot )$在实际使用时用的是PointNet模型和DGCNN模型进行特征提取。

${\mathcal{C}}_{input}$的特征维度为9，其中3维为坐标、3维为RGB-color、3维为法向量。${\mathcal{C}}_{point}$为256

Node feature generation

对称池化函数$g(\cdot )$，和class-agnostic的point-to-instance指标 M ∈ { 1 , . . . , m } N \mathcal{M\in\{1,...,m\}^N} M∈{1,...,m}N一起从点的特征${\mathcal{X}}_{\mathcal{P}}$来生成场景图中每一个物体$i$实例特征${\mathcal{X}}_{{\mathcal{V}}_i}\in {\mathcal{R}}^{1\times {\mathcal{C}}_{node}}$，这个过程可以表示为

其中$\delta (\cdot ,\cdot )$表示换标函数，具体为括号内二者相等为1，不同为0，这里应该起到掩码的作用，用于表示属于结点${\mathcal{V}}_i$的点云中的点。最终可以生成所有节点的特征${\mathcal{X}}_{\mathcal{V}}$

Edge feature initialization

和别的模型将对象间的结构关系重新表述为特殊类型的节点不同，该模型的框架会将这种信息表示为多维的边${\mathcal{X}}_{\mathcal{E}}$，${\mathcal{X}}_{{\mathcal{E}}_{(i,j)}}=({\mathcal{X}}_{{\mathcal{V}}_i}+({\mathcal{X}}_{{\mathcal{V}}_j}-{\mathcal{X}}_{{\mathcal{V}}_i}))$用于表示初始的边特征。

Scene Graph Reasoning via EdgeGCN

以前的场景图工作大多将边缘预测作为从节点表征学习中获得的副产品，这可能会忽视了节点和边的在SGG中潜在能力。然而本模型会将节点和边同等对待，作为成对的联合表示。因此，我们给每个人分配一个专属的学习分支，并研究图推理技术对其特征表示的增强。

Twinning Edge Attention for Node Evolution

1. Twinning edge attention

该注意力机制的目标是学习到${\mathcal{A}}_{\mathcal{E}}\in {\mathcal{R}}^{m\times {\mathcal{C}}_{node}^{\prime }}$，该mask是根据边特征${\mathcal{X}}_{\mathcal{E}}$决定的。

为了使用上${\mathcal{X}}_{\mathcal{E}}$中的方向信息，我们在计算其边迭代向量$a_{\mathcal{E}}^i\in {\mathcal{R}}^{m\times {\mathcal{C}}_{node}^{\prime }}$时会同时考虑其作为source和target的情况。当${\mathcal{V}}_i$作为源头和目标时，边迭代特征会被分表表示成$a_{{\mathcal{E}}_{(i,\cdot )}}^i$和$a_{{\mathcal{E}}_{(\cdot ，i)}}^i$

其中${\mathcal{W}}_{\phi }\in {\mathcal{R}}^{{\mathcal{C}}_{edge}\times {\mathcal{C}}_{node}^{\prime }}$是一个可以训练的转换矩阵，用于将${\mathcal{X}}_{{\mathcal{E}}_{(\cdot ,\cdot )}}\in {\mathcal{R}}^{m\times {\mathcal{C}}_{edge}}$的特征维度映射到$C_{node}^{\prime }$，然后$A_{row}(\cdot )$和$A_{col}(\cdot )$表示在每一个特征维度上的信息聚合函数。因此边迭代向量$a_{\mathcal{E}}^i\in {\mathcal{R}}^{m\times {\mathcal{C}}_{node}^{\prime }}$最终的值可以表示$a_{\mathcal{E}}^i=\sigma (a_{{\mathcal{E}}_{(i,\cdot )}}^i\odot a_{{\mathcal{E}}_{(\cdot ,i)}}^i)$，其中$\odot$表示点乘，$\sigma$表示sigmoid激活函数

2. Node evolution stream

${\mathcal{A}}_{\mathcal{G}}$定义为场景图$\mathcal{G}$上的邻接矩阵，场景图结点特征表示${\mathcal{X}}_{\mathcal{V}}^{\prime }$为：

$${\mathcal{X}}_{\mathcal{V}}^{\prime }=f({\hat{A}}_{\mathcal{G}}(f({\hat{A}}_{\mathcal{G}}{\mathcal{X}}_{\mathcal{V}}{W}_{G1})\odot A_{\mathcal{E}})W_{G2})$$

其中${\mathcal{A}}_{\mathcal{E}}$表示边驱动的交互score，$f$表示非线性激活函数，${\hat{A}}_{\mathcal{G}}={\mathcal{A}}_{\mathcal{G}}+I$，$W_{G1}\in {\mathcal{R}}^{{\mathcal{C}}_{node}\times {\mathcal{C}}_{node}^{\prime }}$，$W_{G2}\in {\mathcal{R}}^{{\mathcal{C}}_{node}^{\prime }\times {\mathcal{C}}_{node}}$，因此特征维度变换为${\mathcal{C}}_{node}\to {\mathcal{C}}_{node}^{\prime }\to {\mathcal{C}}_{node}$

这里可以和GCN的公式做对比，发现差别主要是点乘上${\mathcal{A}}_{\mathcal{E}}$其它部分都相同。也就是说在原本的GCN的基础上加上了边的特征信息。

在实际使用时，${\mathcal{C}}_{node}=2\times C_{node}^{\prime }=256$

Twinning Node Attention for Edge Evolution

1. Twinning node attention

和edge attention中相同，本模块的目标是学习到点作为source和target时的多维注意力mask${\mathcal{A}}_{\mathcal{V}}\in {\mathcal{R}}^{m\times m\times {\mathcal{C}}_{edge}^{\prime }}$，因此对于给定的边${\mathcal{E}}_{(i,j)}$，最终产生一个边缘节点互动的驱动得分$a_{\mathcal{V}}^{(i,j)}\in {\mathcal{R}}^{1\times 1\times {\mathcal{C}}_{edge}^{\prime }}$

这里的双加号$++$文中是根据边进行对应特征拼接。

2. Edge evolution stream

边特征可由该方法进行学习，其中${\mathcal{A}}_{\mathcal{V}}$表示的就是上面学习到的attention mask，最终同样让边的特征维度变化为：${\mathcal{C}}_{edge}\to {\mathcal{C}}_{edge}^{\prime }\to {\mathcal{C}}_{edge}$

实际使用时，${\mathcal{C}}_{edge}=2\times C_{edge}^{\prime }=512$，且激活函数$f(\cdot )$为$ReLU$

EdgeGCN

EdgeGCN包括了两个卷积流，一个是对于节点的$({\mathcal{X}}_{\mathcal{V}}\to {\mathcal{X}}_{\mathcal{V}}^{\prime })$，另一个是对于边的$({\mathcal{X}}_{\mathcal{E}}\to {\mathcal{X}}_{\mathcal{E}}^{\prime })$，且在卷积过程中使用了上文提到的attention交互机制$({\mathcal{A}}_{\mathcal{E}}or{\mathcal{A}}_{\mathcal{V}})$来保证自己与结对代表之间的相互依存关系。

Scene Graph Inference

对于上一阶段的输出节点特征${\mathcal{X}}_{\mathcal{V}}^{\prime }$和边特征${\mathcal{X}}_{\mathcal{E}}^{\prime }$，使用NodeMLP和EdgeMLP，这两个MLP都是由两层全连接层组成，但是参数不共享。

**Loss：**损失函数使用的是muti-class cross entropy ${\mathcal{L}}_{node}+{\mathcal{L}}_{edge}$

Experiment

3DSSG

Result

为了进行有效的对比实验，该模型在3DSSG数据集上进行测试的时候，${\mathcal{F}}_{\mathcal{B}}(\cdot )$使用的是PointNet模型。因此在后续工作中通过修改backbone可以进一步提高模型的准确率。

在进行对比实验的时候，节点和边的特征提取的backbone都相同，不同的是后续的推理部分

Ablation Studies

菱型表示PointNet，星星表示DGCNN

model A 展示了骨干网络在SG中进行object classification的性能

model B 在model A的基础上使用了两个相同的GCN网络来构造一个没有变特征参与的网络。

model C 在通过在模型训练中加入边缘监督，丰富了模型A，使其适应场景图中对象和关系的联合识别任务。

SUNCG(Synthetic)