HVS的真相

HVS的真相

人眼视觉系统（ human visual system，HVS）是人类通过感知光线形成视觉的系统，是人类捕获外界信息最关键的系统之一。HVS在视频编码的主观优化中发挥重要作用。关于HVS有以下特性不得不知：

1. HVS对高频信号的失真不敏感，对低频信号的失真更敏感。这个特性在视频编码的变换过程中有所应用。在对DCT系数量化过程中，对高频系数使用更大的量化步长。H.265和H.264都支持自定义量化矩阵，用户可以根据需要对低频系数进行精细量化，对高频系数进行粗略量化。

2. 灵长类的视觉处理主要在视觉皮质和外侧膝状核（大脑的一部分）进行。眼睛是具有简单预处理功能的传感器，所有的预处理（例如，边缘增强）由视网膜的神经节细胞完成。通过神经节细胞完成预处理是一个很好的分布式计算的例子。基本形状的识别（例如，圆、矩形）在大脑中进行，由大脑皮层的柱状细胞完成。每列细胞负责检测自己的形状，列内处理是串行的。基于HVS的视频编码基本思想是去除那些被视网膜忽略的内容。如果去除过多则人眼会感觉到失真，如果去除过少则会造成压缩效率不高。

3. HVS能够在一个场景中同时以大约10^5:1的对比度感知光线。这个范围远超现在的采集和显示设备能够提供的动态范围。现有的绝大多数消费相机和显示设备能够支持对比度约为100:1到1000:1的低动态范围(LDR)视频内容。

4. HVS对物体的绝对亮度判断力差，而对物体的亮度变化感知敏锐。也就是说HVS对对比度大的内容失真更敏感。

5. 人眼对亮度的适应分为亮适应、暗适应和局部适应。从平均亮度小的暗环境转入平均亮度大的亮环境的人眼视觉过程称为亮适应，其适应时间为几秒钟到几分钟。从亮环境转入暗环境的适应称为暗适应，适应时间从几秒钟到几十分钟。

6. 有两种类型的光感受器：视杆细胞和视锥细胞。视杆细胞对弱光敏感，它们不能区分颜色，主要分布在外侧。视锥细胞对长波、中波和短波的较高波长的光敏感，它们是感知颜色的基础。视锥细胞主要集中在视网膜的中心区域（中央凹）。视杆细胞大约有1亿个，视锥细胞大约有650万个。目前最流行的色度下采样是4:2:0（4个亮度像素对于2个色度像素），亮度像素：色度像素=2：1。为什么不是8:2:0,亮度像素：色度像素=4：1?

7. 为什么现在常用的视频编码采用YUV(或YCbCr)4:2:0？这是因为HVS对结构更敏感（亮度分量），对颜色不敏感（色度分量）。

8. HVS对绿色更敏感，所以在由RGB空间向YUV空间转换时，Y分量中绿色（G）的权重更大。

   Y = 0.212671R + 0.715160G + 0.072169B

9.人眼对图像中心的分辨能力大于图像边缘。

感兴趣的请关注微信公众号Video Coding​