Temporal Relational Reasoning in Videos

Temporal Relational Reasoning in Videos

框架

TRN(Temporal Relation Networks)

公式：
$$T_2(V)=h_{\varphi }\left(\sum _{i<j}{g}_{\theta }\left(f_i,f_j\right)\right)$$

$$T_3(V)=h_{\varphi }^{\prime }\left(\sum _{i<j<k}{g}_{\theta }^{\prime }\left(f_i,f_j,f_k\right)\right)$$

$$T_4(V)=h_{\varphi }^{\prime }\left(\sum _{i<j<k<l}{g}_{\theta }^{\prime }\left(f_i,f_j,f_k,f_l\right)\right)$$

Multi-Scale Temporal Relations

$$M{T}_N(V)=T_2(V)+T_3(V)\dots +T_N(V)$$

优点

文章指出，TRN的强大之处在于能够解释视频常识，这个是优于C3D和I3D（后续会介绍，常用算法）的地方：

1. 视频中具有代表性的画面有利于TRN识别一个活动；
2. 对于同一类视频，具有很好的适用性；
3. 对行为识别来说，TRN的时序性很重要，尤其是单方向的动作；
4. 能够在动作的早期完成识别。