读Spatial As Deep: Spatial CNN for Traffic Scene Understanding(SCNN)和代码

Spatial CNN,或者SCNN

给出两篇翻译:

1.https://www.cnblogs.com/guoyaohua/p/8940871.html?utm_source=tuicool&utm_medium=referral

2.https://blog.youkuaiyun.com/u011974639/article/details/79580798

原文pdf地址, pytorch实现

====================================================

Related Work重点

在神经网络中运用空间信息的有:

1.RNN   (Visin et al. (2015) and Bell et al. (2016) )

2.运用神经网络+概率图模型如MRF or CRF,

=======================================================

SCNN整体架构:

来看一下他的核心部分, 也就是message_passing,在pytorch的代码实现中,四个方向的message_passing上下左右都由同一个模块实现,实现代码如下,

上图示意图中曲线代表卷积,每次message passing都共用一组卷积,卷积具体结构如下,代码中ms_ks设置为9

为什么是(1,ms_ks)的卷积呢,猜测可以将feature 的x,y 坐标上信息分别融合,如下下图的y坐标上的信息融合

 

论文中的公式:

论文中给的示意图:spatial CNN的空间信息传输方式