计算机视觉处理对象——图像/视频

1、引言

  计算机视觉或多模态视觉处理的对象都有图像/视频。图像/视频对我们现在人来说是非常常见的，各种网站，app都充斥着大量的图像或视频，我们从这些图像/视频中可获取大量信息：比如图像中有哪些东西，可能的空间位置和行为等等。我们用成像设备拍摄的图像/视频通关显示屏能再现当时的画面。图像/视频中最主要的信息是颜色信息，颜色信息不同导致物体的边界、纹理等等。为什么图像/视频可以把当时场景记录下来呢？图像/视频在计算机中的本质是什么？显示器是怎么恢复图像内容的？这里涉及图像成像、人类视觉感知以及显示器的原理。

2、人类视觉系统

2.1 人类视觉概览

  下图是人类视觉系统示意图，眼睛主要负责对外界的感知，把光学信号转换成电信号，电信号经过神经网络的处理进行成像和对场景的分析。

人类视觉系统示意图

  我们可以感受到物体的颜色、形状、纹理等等。纹理和物体表面的颜色、粗糙程度有关，形状和物体的颜色、距离等有关；颜色就是物体表面反射的光。我们主要讨论二维图像，即主要了解人是如何感知颜色信息。

  人类视觉系统感知颜色的功能主要是在人眼。人眼的功能类似于相机，主要对外界信号进行感知，并将光学信号转换成电信号，传给神经系统进行处理。

2.2 人眼

  下图是人眼的解剖图。物体反射的光线经过眼角膜折射后进入晶状体，然后进入到视网膜，最后光线聚集成像。

人眼解剖示意图

  对光线进行第一步的感知是在视网膜这进行的。下图是视网膜感知光线的示意图。

视网膜感知光线示意图

  视网膜由多层细胞类型组成，每一层细胞都有其特定的功能:

1. 光感受器细胞：包括视杆细胞（rods）和视锥细胞（cones）。视杆细胞对光敏感，主要在低光条件下工作，负责黑白视觉；视锥细胞对颜色敏感，主要在明亮光线下工作，负责色觉和高分辨率视觉。
2. 双极细胞（Bipolar cells）：连接光感受器细胞和神经节细胞，起到信号传递的作用。