SLAM论文笔记---- FlowNet及FlowNet2.0

最新推荐文章于 2025-11-30 01:00:00 发布

原创

最新推荐文章于 2025-11-30 01:00:00 发布 · 1.5k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#计算机视觉 #SLAM 三维重建视觉算法建图 #单目视觉 SLAM

本文探讨FlowNet在光流预测中的创新，如correlation layer的引入与stacking network的应用，对比不同网络架构在多种数据集上的表现，揭示了深度学习在SLAM领域的潜力。

SLAM笔记第二篇

FlowNet提出端到端的cnn网络学习从一对图像来预测光流，额外开发了correlation layer来进行匹配，构造了flying chairs以解决数据不足问题。

传统的滑动窗口cnn存在计算成本高，边缘问题；另一种方法是将特征向上采样到所需分辨率并堆叠。
FlowNetSimple将两张图片堆叠在一起，只包含卷积层。
FlowNetCorr将两幅图像分别先单独相同处理，在更高层次将两者合并，引入相关层，将分别以x1，x2为中心的两个图相对相卷积。 $K=2k+1$ ，文中k=0，也就是说， C（x1，x2）就等于第一个feature map中x1处的特征向量与x2处的特征向量计算点乘。同时为了减少计算量，两帧之间计算相关性的区域被限制在一个[-d,d]x[-d,d]的区域内，也就是说，第一个feature map中x1处的特征与会第二个feature map x 处的特征计算相似度。因此最后得到的输出特征图就是，文中d=10这也就是图2b中corr操作后特征图中channel数441的由来。