Deep3D: Fully automatic 2D-to-3D video conversion with deep convolutional neural networks

__momo__

已于 2023-11-01 22:09:29 修改

阅读量556

点赞数

分类专栏： Papers 文章标签：深度学习人工智能计算机视觉 python

于 2023-05-03 12:33:45 首次发布

本文链接：https://blog.youkuaiyun.com/yaoyao_chen/article/details/130471834

版权

Papers 专栏收录该内容

7 篇文章

订阅专栏

作者借助3D电影帧解决深度估计数据稀少问题，基于VGG16构建端到端监督网络预测右视图。虽然尝试利用temporaldependency（如opticalflow）以增强模型预测，但实验结果显示这反而增加了MAE，可能由于模型复杂性和多输入数据干扰。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

论文链接
 论文代码(MXNet)

作者避免了先前深度估计数据集的稀少问题，使用3D电影的帧作为训练数据。The author used left view as the input, and trained an end-to-end supervised neural network (the backbone is based on VGG16) to predict the right view.
网络中间部分输出了left view 和 right view的视差图 (disparity map)，but this is only used for minimizing the MAE between the predicted right view and the ground truth. Therefore, the “disparity map” is not “real” and “accurate”.

在评分标准中，在采用MAE之外还采用了人工打分的方式。

值得一提的是，intuitively使用temporal dependency的逐帧视频可能会提高模型的预测能力，但是从MAE结果来看在预测的时候加入5帧optical flow会增加MAE。作者给出的解释是temporal dependency嵌入模型的复杂性。我猜测可能还因为是拍摄角度的转变以及有效信息占比的减少（多输入数据的干扰）。