将图卷积应用于关系推理

【论文笔记】Learning Actor Relation Graphs for Group Activity Recognition

论文链接：https://arxiv.org/pdf/1904.10117.pdf

代码链接：https://github.com/wjchaoGit/Group-Activity-Recognition

一、论文的目的

1.1 提出问题

群体行为识别是行为识别领域中的一个子任务，需要将多个目标作为一个群体来分析他们的活动。对于复杂场景中的群体活动识别，建模活动参与者之间的相互关系至关重要。然而现存数据集大多只有个体的标签和整个群体活动的标签，缺少参与者之间的交互信息。因此，人们提出了很多方法来进行人物间的关系推理，比较典型的是利用外观特征和位置信息来进行计算。

在深度神经网络出现之后，现在的大多数的方法都遵循一种二阶段的识别框架：

1.利用CNN来提取人物的特征（人级特征）；

2.设计一个全局的模块来聚合(进行关系推理)1产生的特征，生成场景级特征送入分类器，得到分类结果。

现在的问题在第二阶段：很多方法由于自身采用的网络结构特性导致关系推理的计算成本过高或者缺乏普适性，所以效果都不好。

1.2 本文解决方案

本文提出了一种基于ARG(Actor Relation Graph)和图卷积的关系推理方法，能够快速高效的建模参与者的相互关系。

1.构造活动关系图（ARG），它可以捕获活动参与者的外观和位置相关性，，，后面会解释ARG的定义；
2.应用图卷积（稀疏的采样策略）对ARG中的节点进行关系推理以实现群体活动检测；

二、主要方法（主要讲空间图和图卷积的部分）

2.1 构造ARG

2.1.