接着模型解读系列，在中国科幻作家刘慈欣的科幻小说《三体Ⅲ·死神永生》中，首次提出了降维打击这个概念，这是本质上区别于同一维度的攻击，破坏性也更大。
而现在我们要说的是从二维卷积升级到三维卷积，它相比2D卷积是否会有不一样呢？
作者 | 言有三
编辑 | 言有三
01
3D卷积
首先看一下二维卷积，一个3*3的卷积核，在单通道图像上进行卷积，得到输出。
然后我们再看一下3维卷积，一个3*3*3的卷积核在立方体上进行卷积，得到输出。
就是这样，没什么其他花样了。
可能有人会问，这跟多通道卷积有什么区别呢？
有。
多通道卷积不同的通道上的卷积核的参数是不同的，而3D卷积则由于卷积核本身是3D的，所以这个由于“深度”造成的看似不同通道上用的就是同一个卷积，权重共享嘛。
总之，多了一个深度通道，这个深度可能是视频上的连续帧，也可能是立体图像中的不同切片。
02
3D卷积的应用
上面也说了，3D卷积就是多了一个深度通道，而这个深度通道可能是视频上的连续帧，也可能是立体图像中的不同切片，所以从应用上来说，主要就是两大主要方向。
2.1 视频分类
相比于2D图像，什么数据多了一个维度呢？当然就是视频了，视频的帧数，就是完美的另一个深度维度，将3D卷积用于视频的分类，再自然不过，关键就是看谁先来干。
据我所知，文【1】是最早的，看看他们使用的网络结构。
网络很浅，只有3个卷积层和1个全连接层，2个池化层，这样的网络规模和LeNet5可以称兄道弟了。不过3D多了一个维度，计算量自然是多了很多。
这里有两个3D卷积层，卷积核大小分别是7x7x3，7x6x3，前两维是空间的卷积，后一维是时间的卷积，看得出来，不需要保持一致，而且通常空间的卷积核大小和时间就不会一致，毕竟处理的“分辨率”不同。
这个网络结构在视频分类数据集UCF-101上的top-1精度为63.3%，别看这个指标不高，其他的比如LSTM，双流网络等也差不太多，而普通的2D卷积或者传统方法则要低于这个指标。
更细致的三维卷积在视频分类中应用的网络结构的探索在文【2】中，感兴趣读者可以自取。
2.2 图像分割
既然可以用于分类，自然也可以用于分割。不过对视频使用3D卷积似乎优势并不大，而在医学领域的应用前景更大一些。
医学数据通常都是3D的，比如CT扫描的数据，虽然我们看的片子是2D的，但其实那只是一个切片，真正的扫描数据是3D的。
而如果要分割出一些病变组织，比如肿瘤，也必须是3D的。
具体的网络结构就是将U-Net改为3D的形式。
就讲这么多，未完待续。
【1】Ji S, Xu W, Yang M, et al. 3D convolutional neural networks for human action recognition[J]. IEEE transactions on pattern analysis and machine intelligence, 2013, 35(1): 221-231.
【2】Tran D, Bourdev L, Fergus R, et al. Learning spatiotemporal features with 3d convolutional networks[C]//Proceedings of the IEEE international conference on computer vision. 2015: 4489-4497.
【3】Casamitjana A, Puch S, Aduriz A, et al. 3D Convolutional Neural Networks for Brain Tumor Segmentation: a comparison of multi-resolution architectures[C]//International Workshop on Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. Springer, Cham, 2016: 150-161.
总结
我们面临的很多的数据都是高维的，比如街景地图，比如视频，比如医学图像，比如点云，将二维拓展至更高维的卷积也是很自然的想法，总之多尝试吧。
转载文章请后台联系
侵权必究
更多请关注知乎专栏《有三AI学院》
往期精选
想要变身”AI专家“，就戳戳手指关注我们吧
别忘了点“好看”支持作者噢 ???
8799
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
