【深度相机系列三】深度相机原理揭秘--双目立体视觉

最新推荐文章于 2025-10-15 23:45:00 发布

原创

最新推荐文章于 2025-10-15 23:45:00 发布 · 3.8w 阅读

360 ·

CC 4.0 BY-SA版权

文章标签：

#深度相机 #双目视觉 #极线约束 #原理详解 #TOF

本文深入探讨了双目立体视觉深度相机的工作原理，包括理想模型、极线约束、图像矫正技术以及基于滑动窗口和能量优化的图像匹配方法。同时，分析了其在不同光照、纹理场景下的表现和计算复杂度问题，并讨论了相机基线对测量范围的影响。双目相机成本低、室内外适用，但对光照敏感且计算复杂。

本文已经首发在个人微信公共号：计算机视觉life（微信号CV_life），欢迎关注！

导读

为什么非得用双目相机才能得到深度？

双目立体视觉深度相机的工作流程

双目立体视觉深度相机详细工作原理

理想双目相机成像模型

极线约束

图像矫正技术

基于滑动窗口的图像匹配

基于能量优化的图像匹配

双目立体视觉深度相机的优缺点

---------------------------------------------------

基于双目立体视觉的深度相机类似人类的双眼，和基于TOF、结构光原理的深度相机不同，它不对外主动投射光源，完全依靠拍摄的两张图片（彩色RGB或者灰度图）来计算深度，因此有时候也被称为被动双目深度相机。比较知名的产品有STEROLABS 推出的 ZED 2K Stereo Camera和Point Grey 公司推出的 BumbleBee。

ZED 2K Stereo Camera

为什么非得用双目相机才能得到深度？

说到这里，有些读者会问啦：为什么非得用双目相机才能得到深度？我闭上一只眼只用一只眼来观察，也能知道哪个物体离我近哪个离我远啊！是不是说明单目相机也可以获得深度？

在此解答一下：首先，确实人通过一只眼也可以获得一定的深度信息，不过这背后其实有一些容易忽略的因素在起作用：一是因为人本身对所处的世界是非常了解的（先验知识），因而对日常物品的大小是有一个基本预判的（从小到大多年的视觉训练），根据近大远小的常识确实可以推断出图像中什么离我们远什么离我们近；二是人在单眼观察物体的时候其实人眼是晃动的，相当于一个移动的单目相机，这类似于运动恢复结构（Structure from Motion, SfM）的原理，移动的单目相机通过比较多帧差异确实可以得到深度信息。

但是实际上，相机毕竟不是人眼，它只会傻傻的按照人的操作拍照，不会学习和思考。下图从物理原理上展示了为什么单目相机不能测量深度值而双目可以的原因。我们看到红色线条上三个不同远近的黑色的点在下方相机上投影在同一个位置，因此单目相机无法分辨成的像到底是远的那个点还是近的那个点，但是它们在上方相机的投影却位于三个不同位置，因此通过两个相机的观察可以确定到底是哪一个点。