大家好,最近星主准备写一期关于三维重建的系列文章,属于边学边写,若有错误和不足之处,欢迎大家指正!
1.简介
根据维基百科的定义,三维重建技术是指利用二维投影或影像恢复物体三维讯息(形状等)的数学过程和计算机技术。与目前很火的深度学习相比,三维重建无疑要难很多,有很多数学公式和原理要推导和理解,这提高了它的入门门槛。
三维重建方向融合了计算机视觉、计算机图形学、图像处理等多个学科的知识,是一套非常复杂的工程系统,而星主主要参考了B站鲁鹏教授的视频进行讲解,(https://www.bilibili.com/video/BV1DP41157dB?t=0.8)。当然,也有一些参考书可以供大家进一步的学习
(1)Multiple View Geometry in Computer Vision (Second Edition)
(2)Computer Vision Algorithms and Applications
经典的三维重建系统的整个过程是相机标定、基础矩阵与本质矩阵估计、特征匹配到运动恢复结构(SfM),从SfM到稠密点云重建、表面重建、纹理贴图。在这整个过程中,大家需要有线性代数、微积分、优化理论(最小二乘法等等)、多视图几何等一些基础知识。在大家了解了一些基本原理之后,可以去看最近很火的NeRF和3DGS方向的论文。
2.应用及前景
前面说了那么多,大家千万不要还没开始就放弃了,毕竟这项技术目前薪资还是不错的。
三维重建技术已经在游戏、电影、自动驾驶、AR/VR、医学、文物保护等方面有了一定的应用。就目前而言,三维重建是号称最不卷的计算机视觉技术,它的就业前景目前而言还是不错的,下面的截图来自于BOSS直聘网。
3.相关资源
目前先给大家列出一些网站,大家可以去浏览一下,其余的后面在补充。
(1) colmap:COLMAP - Structure-From-Motion and Multi-View Stereo (demuc.de),GitHub - colmap/colmap: COLMAP - Structure-from-Motion and Multi-View Stereo
(2) OpenMVG: SfM: Structure from Motion — openMVG library
(3) OpenMVS: GitHub - cdcseacave/openMVS: open Multi-View Stereo reconstruction library
(4) Meshlab: https://www.meshlab.net/
(5) NeRF: https://arxiv.org/abs/2003.08934
(6) 3DGS: 3D Gaussian Splatting for Real-Time Radiance Field Rendering
好了,经过简单介绍后相信大家已经迫不及待地想要学习三维重建了,那大家抓紧时间上车吧,我们要启航啦!