单目、双目与多目的区别

在不断的学习中，发现了一个讲单目、双目与多目特别好的文章，复制过来共享，不属于原创，如果原创作者追究版权问题，可以直接与我联系。

前言

摄像头在日常生活中非常常见，一般用来完成拍照、摄像这些基本的功能。但自动驾驶以及人工智能的到来，使得人们有了从摄像头中，获取更为智慧的结果的需求，即通过摄像头的视野，分析感知环境的变化，做出判断，将结果反馈到终端或者云端的处理器当中，服务于更丰富的应用。

自动驾驶作为最先尝鲜的应用领域之一，摄像头很早就进入了科研专家的考察范围。业内研究最早同时实力最强的，是Mobileye。这家诞生于以色列的单目视觉公司，有着在汽车高级辅助驾驶系统领域12年的研发经验，提供芯片搭载系统和计算机视觉算法运行 DAS 客户端功能。

公司的产品可实现车道偏离警告 (LDW)、基于雷达视觉融合的车辆探测、前部碰撞警告 (FCW)、车距监测 (HMW)、行人探测、智能前灯控制 (IHC)、交通标志识别 (TSR)、仅视觉自适应巡航控制 (ACC) 等功能，产品占据全球市场超过70%的份额。

之所以要花这么大的篇幅去介绍Mobileye，是因为他们是业内单目摄像头解决方案的绝对领导者。

对，没有之一，也没有任何含混不清，他们就是NO.1。这也是为什么芯片巨头英特尔愿意花153亿美金买下这家在从前名不见经传的小公司的原因。

以上的表述中，眼尖的人一定主要到了一个词：单目摄像头。那么什么是单目摄像头呢？文章开头提到的三目摄像头又是什么鬼？有没有双目的呢？接下来，我将带大家一一解开这一困扰我一个多月的问题。

单目摄像头

目前应用于自动驾驶的路况判断，多以单目摄像头方案为主。也就是业界鼻祖Mobileye的看家本领。

但单目摄像头有一个问题是，在测距的范围和距离方面，有一个不可调和的矛盾，即摄像头的视角越宽，所能探测到精准距离的长度越短，视角越窄，探测到的距离越长。这类似于人眼看世界，看的越远的时候，所能覆盖的范围就窄，看的近的时候，则覆盖的范围就广一些。

人眼是双目的，在性能上要远优于人造产品，但在观察周遭环境的时候，也依然会遇到覆盖不全的问题。通俗点来讲，眼观六路，耳闻八方常常用来形容一个人机敏，能快速感知周围的环境状况。我们将这样的人视为聪慧的人，一般人很难达到这样的水平。但一双眼睛，怎能达到眼观六路？

这不过是汉字语言的一种比喻的说法，并不能当真。因此，即使是如人一般昂贵精妙的双眼，也在实际的使用环境中，有力所不能及的时候。

车载摄像头是定焦的，它无法像人眼一样快速变焦。不同的焦距可以满足不同的范围。

目前的ADAS（高级辅助驾驶）所要求的是40米-120米的范围，未来将会达到200米甚至以上。Mobileye现在的技术水平，所能达到的也是120米范围以内，但从下一代EyeQ4、EyeQ5开始，Mobileye将会达到150-200米的视距。

那么如何用一个定焦镜头解决不同距离的观察，就成为了困惑行业的难题。也因此，业内产生了双目甚至多目的方案，用来解决不同距离下摄像头看清、看准的问题。

多目摄像头

不同焦距的摄像头，与成像的清晰度是直接挂钩的。车载摄像头一般是固定焦距的，目前车载摄像头每秒处理的图像在20帧左右，每秒处理的数据量巨大。

一方面车载摄像头从技术上是很难达到频繁变焦的，另一方面单个摄像头频繁变焦根本无法应对秒级的巨量数据接收处理。

这也是为什么Mobileye前两年开始多目研究的原因。多目摄像头，可以通过不同的摄像头来覆盖不同范围的场景，既解决了摄像头无法来回切换焦距的问题，也可以一次性解决不同距离下识别清晰度的问题。

比如说广角镜头用来看近处的环境，80度的覆盖30米左右的环境，60度覆盖中远距离，40度负责远距离观察。不同的摄像头负责观察不同距离、角度范围的场景，各司其职，互不干扰。

但多目摄像头目前也并不是完美的解决方案，它会生出另外的一些难解问题。

比如，第一，在汽车上如何放置的问题。汽车挡风玻璃处通常是各种配件聚集的地方，这里本身需要安装雨量传感器，以及有可能额外添加的激光雷达、行车记录仪，摄像头等等。这个地方本身已经拥挤不堪，留给多余设备的空间并不大。

而多目摄像头本身又有一些要求，比如摄像头之间的距离要在10-20cm左右，这就更加剧了挡风玻璃处的拥挤。

第二，多目摄像头的成本会翻倍，只从简单的硬件上就是单目的N倍，而且算法上的复杂度和成本也时成倍增加。多路图像数据的处理比单路数据处理的难度要大，这对处理芯片的要求以及硬件的可靠性要求增高。

因此，多目摄像头的出现，既解决了一些现有问题，也衍生出了各种各样其它的问题。

双目摄像头

业内很多新兴的初创公司，为了避开与Mobileye的正面竞争，选择从双目切入。但双目也存在两个关键的问题。第一是成本问题，第二是安装位的问题。

第一个问题是，双目的方案，两个镜头理论上要一模一样，因为一旦存在差异，会使得测量的准确性大打折扣。业内也会称之为立体摄像头。

但一个摄像头是由6个光学的镜片和一些传感器组成，而玻璃镜片的生产制造是打磨出来的，并不是压制而成的。这就从根本上产生了镜片生产存在差异性的问题。

所谓的单反摄像机，最昂贵的莫属一个个动辄数万的镜头，原因就在这里。大家都听过卡尔蔡司镜头吧，这个公司已经有超过100年的历史，他们的镜头在业内可谓鼎鼎大名。

曾经手机界的扛把子诺基亚，在自己的手机中使用的就是这家公司的镜头。不客气的讲，当时同档次的诺基亚旗舰机N95的成像质量，真真是甩了iPhone一座珠港澳大桥的距离。

摄像机镜头一般都有些参数，比如畸变度，对焦度，随着准确度的上升，误差范围的收窄，成本也是扶摇直上的，业内一般使用的镜头误差在5%的范围内。一般，单目摄像头的误差可通过后期算法的调教，进行有效的处理。

但双目摄像头，由于本身测距的原理，导致会要求两个镜头之间的误差越小越好。如果两个镜头各自都有5%左右的误差，那么对于后期调教的算法，难度就会加大许多，而且还不能保证确定性。

而如果要将两个摄像头的误差缩减到1%左右，达到使用的要求，那么摄像头的成本就会高不可攀。同时无论镜头生产商还是采购方，都需要面对产品不良率的问题。

双目摄像头同时也存在摆放位置的问题。两个镜头之间的距离是10-20cm之间，这个距离需要非常精准，因为这会直接关系到测距的准确性。

由于汽车使用的环境复杂多变，只是温度要求，都是在-40—85度。而传统器材必然有热胀冷缩的问题，那么这就会影响到两个镜头之间的距离。因此只有很高端的一些车型，会使用到立体摄像头，而且即使是使用了，场景也会非常有限。主动巡航和自动驾驶根本做不到。

业内做的好的公司，能够将单目摄像头的误差控制在3%以内。理论上立体摄像头的误差可以做到1%以内，但从实际的应用层面来看，1%跟3%在现有的应用环境下，并不存在太大的差别。尤其是在单目摄像头搭配一些毫米雷达等传感器以后，完全可以达到类似的精度。

双目摄像头的方案，在成本、制造工艺、可靠性、精准度等等综合因素的制约下，导致其难以在市场上推广，而单目摄像头低成本可靠性的解决方案，搭配其他传感器，完全可以满足L1、L2以及部分L3场景下的功能。因此在现有市场环境下，单目摄像头的解决方案依然会是主流。

ES8的全系产品都搭载了三目前向摄像头、4个环视摄像头、5个毫米波雷达、12个超声波雷达。

三目摄像头

除了较为多见的双目摄像头方案，三目摄像头也进入了一些公司的视野，如蔚来的ES8。但三目摄像头是终极的解决方案吗？目前看来，并不是。

三目摄像头诞生之初，目的是为了解决汽车前向测距的问题。众所周知，汽车行驶的过程中，如果要满足自动驾驶的要求，需要车身感知设备对前方两百米左右的道路环境做到精准测量，以求做出相应的控制决策。

三个摄像头在判断、测算障碍物距离的时候，会有一个核心的逻辑问题。由于摄像头的精准度是有一定的误差范围，因此三个不同的摄像头，检测障碍物的精准性都会有一定的误差。

那么在不同摄像头覆盖距离范围的交汇处，两个相邻摄像头测算出障碍物的距离很可能是不同的，会存在10米左右的误差。

还有同样一个场景，两个镜头获取到的图像可能会不一样。对于这些“不寻常”的情况，专家并没有良策。而这些数据都是在同一时间获取到的，后台的算法会随时处理，运算的结果也会直接反馈到中央控制器，用来对汽车的驾驶行为做出调整。

不同摄像头获取到同一场景的不同数据，需要在后台进行融合，某种意义上而言，就是数据处理结果的PK，谁更准确就采纳谁。但由于硬件的差异性本身存在，导致后台目前对于这种误差并没有合理的规则和解决方案去进行优胜劣汰的处理。

这种无法决策的局面，还会同其它的传感器如激光雷达、毫米波雷达探测到的结果再进行一次融合（PK），多重的不确定性导致最终难以做出普遍意义上“正确合理”的决策。

Mobileye也正是因为无法解决这一根本性的逻辑处理问题，导致在尝试了三目摄像头的方案之后，又回到了原来的单目摄像头的方案上。

5年内单目还是主流

处理摄像头数据的芯片，是制约摄像头解决方案的重要因素。Mobileye花了十年，才制造出了满足汽车电子规范要求的芯片，可见，符合车规要求的芯片难度之大。

目前市场上，还未出现可以满足双目图像处理、符合车规要求、大规模商业化量产的芯片，已经量产的一些车型中类似于斯巴鲁使用的，仍然配合使用了FPGA的方案，来达到双目算法处理所需的算力要求。

现在市场上并没有商业化的芯片能够支持多目摄像头的方案，都是FPGA的方式。而Mobileye的EyeQ4和 EyeQ5可以满足这样的要求，但Mobileye本身觉得这样的搭配方案并没有太大的必要。

人眼实际上就是立体摄像头，但人都需要大规模的训练，才能达到测距的准确性。但坦白讲，印象中只有特种兵才可以通过手指比对的方式手动测出较为精准的距离，而我们普通人要通过双眼判断物体的准确距离，其实还是很困难的。

双目摄像头的方案，理论上是可以达到很高的精度，但需要非常专业的技术团队，才有可能研发出来。但即使研发出来，也会面临严重的成本问题。

企业本身做产品的目的就是推而广之，让产品大规模应用，而非束之高阁，以作观瞻。一个产品如果价格居高不下，对于实际的商业化应用，并没有太大的意义。

也因此，有部分业内人士表示，至少在5年内，单目摄像头还将会是市场的主流，多目的方案还需匍匐前行。

异形镜头可能是新的出路

新的传感器技术，从镜头成像，到特殊异形镜头的设计，传感器技术的迭代更新，将有可能解决现有摄像头存在的问题。

Mobileye用到的传感器是1/2.7寸的，或者1/3寸的，现在新的传感器技术可以达到1/1.7或1/1.5寸，已经提高了一到两倍。Mobileye跟摄像头厂商类似于舜宇这样的企业，正在共同研发下一代的异形摄像头。

通常，业内使用的镜头是球形、椭圆形的，而新的异形镜头光圈很大，可以覆盖不同的测距范围，同时保证成像质量。

另外，目前大部分摄像头厂家使用的摄像头都是100万像素，而Mobileye下一代的EyeQ4或者EyeQ5则会使用到400万甚至800万像素的摄像头。

随着更大尺寸的传感器应用，单个摄像头可以保证1-200米内，任何一个焦段成像清晰。这将会彻底解决多目摄像头现存的一些问题，虽然目前成本较高，但它的前景还是非常值得期待的。

文章来源： http://www.52rd.com/News/APP/Detail/?ID=102990