时空图学习笔记：Structural-RNN: Deep Learning on Spatio-Temporal Graphs

                                                               

论文链接：https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Jain_Structural-RNN_Deep_Learning_CVPR_2016_paper.pdf

此为原创笔记，如需转载请注明

                     时空图和结构化RNN: st-graph and structural-RNN

目录

                     时空图和结构化RNN: st-graph and structural-RNN

 

一、时空图（Spatio-temporal graph）

1.时空图

2.时空图展开

3.因子图

3.1 因子图

3.2  因子/参数共享

二、时空图到Structural-RNN转化

1.转化过程——二分图

2.算法

三、Strctural-RNN训练过程

 

---

 

本论文讲解的的是如何通过人的特征（人体姿态特征）、物的特征（物的功能特征等）以及人和静态物体的关系（相对位置关系特征等），来判断每个时间点t=1,2,3,...人所做的动作。

一、时空图（Spatio-temporal graph）

1.概念

（以 人、碗、微波炉的例子进行讲解）

                                        

   图1：从st图到S-RNN的示例问题。（底部）显示了一个示例活动（人体微波食品）。对这些问题进行建模需要空间和时间两方面的推理。（中）捕捉人与物体之间的时空交互作用的St-graph。（顶部）我们的结构RNN体系结构的示意图，自动从st图形派生。它以一种丰富而可伸缩的方式捕捉st-graph的结构和交互作用。

    时空图（st-graph）：是一种用于刻画多个物体之间在空间与时间维度上交互的图结构。

                                          

                                                                    简化的时空图

   时空图三要素：节点，时空边（spatio-temporal edge）和时间边（temporal edge）

                                                                               其中v∈V，

      （1）节点V：人和物体                                                          例子中为人、碗、微波炉

      （2）时空边集：同一时间，人-人，人-物之间的关系       例子中为边（人，碗），边（人，微波炉），边（碗，微波炉）

      （3）时间边集：同一节点在相邻时间步上的关系             例子中为边（人，人），边（碗，碗），边（微波炉，微波炉）           

     nodes的种类：human、object

     edges的种类：human-human（self）、human-object、object-object（self）、object-object

                                  

 

2.时空图展开

按时间展开的时空图：                             

其中， 给定时间步t处的节点与无向时空边相连，相邻时间步上的节点（例如时间t处的节点u和时刻t+1处的节点v）与无向时间边相连。

        ：，，：表示节点的特征向量 ，如人/物的姿态：人的活动特征和物体的功能特征（affordance）

       ：,