数字视频编解码基础

1.绪论

        人类社会的三大支柱是物质、能量和信息。具体而言，农业现代化的基础是物质，工业现代化的支柱是能量，而信息化的支柱是信息。

        90 年代以来，随着Internet和移动通信的迅猛发展，视频信息和多媒体信息在Internet网络和移动网络中的处理和传输成为了当前我国信息化中的热点技术，数字视频技术在通信和广播领域获得了日益广泛的应用。

       视频信息具有直观性、确切性、高效性、广泛性和高带宽性等特点。

2.   视频信号的预处理

一个基本的视频处理和通信系统大致可如下图所示，主要包括采集、预处理、视频编码、通信、图像处理以及显示等几个方面。

                                                                 

•        数字信号的产生：从摄像机光电转换后得到的电视信号都是模拟信号，将模拟电视信号变成数字电视信号要经过模/数（A/D）转换过程。

•        模/数转换包含三个过程，即取样、量化及编码。其中，取样的目的是将时间上连续的模拟信号变成时间上离散的信号，量化是将幅度上连续的取样值变成幅度上离散的取样值，而编码的作用是将离散化的取样值编成二进制数码。

•        取样是指用每隔一定时间的信号样值序列来代替原来的时间上连续的信号，也就是在时间上将模拟信号离散，其理论基础是奈奎斯特取样定理。

•        量化是用有限个幅度近似原来连续变化的幅度值，把模拟信号的幅度离散化。量化过程是把取样后的信号幅值归并到有限个幅度等级上，并用一个相应的数据来表示。归并过程使得量化后的信号幅度与取样信号实际幅度之间有偏差，这称为量化误差。量化误差的存在会使重现图像上产生杂波干扰，称为量化杂波或量化噪声。

•        编码则是按照一定的规律，把量化后的值用数字表示，然后转换成二值或多值的数字信号流。这样得到的数字信号可以通过电缆、微波干线、卫星通道等数字线路传输。

图像采集的功能由图像传感器实现，目前图像传感器主要有电荷耦合器件（CCD，charge coupled devices）和CMOS传感器，前者技术发展成熟，具有高解析度、低噪声、动态范围大等优点，在高端产品中得到广泛应用，后者随着半导体技术的发展，以其低成本、高的集成度、低功耗等占领了低端市场，且随着技术的不断发展，CMOS图像传感器的一些参数性能指标已达到或超过 CCD。但不论是CCD还是CMOS传感器在将实际景物转换为图像信号时总会引入各种噪声和畸变失真，因此一般需要对图像传感器的图像进行预处理，包括伽马校正、图像插值、图像校正、白平衡、图像增强以及增益控制等技术，一方面改善图像的质量，另一方面，可使得图像有利于视频编码的处理。

2.1色彩插值（Color Interpolation）

进行色彩插值的主要原因与数字成像技术中的限制有关。具体来说，CCD数字照相机的每一个感光元件只允许采集R（红色）、G（绿色）和B（蓝色）颜色分量之一。这导致每个像素点仅包含一种原色的信息，形成的图像被称为马赛克图像。

然而，为了得到完整的彩色图像，我们需要恢复出每一个像素点上的其他两个颜色分量。这就是彩色插值的主要作用，也称为彩色去马赛克处理。通过利用相邻像素之间的相关性，通过数据计算获得缺失的颜色分量，从而恢复出完整的彩色图像。

在RGB图像中，一个像素通常需要同时获取RGB三个颜色分量的值。然而，直接为每个像素配备三块分别对应RGB的滤镜不仅价格昂贵，而且制造困难，因为需要确保三块滤镜的每一个像素点都对齐。为了简化制作工艺和降低制作成本，一个像素往往只给出单色的色调值，而不能同时给出RGB三组数据。此时，就需要通过色彩插值来恢复出缺失的颜色分量。

无论是CCD还是CMOS，一个像素点往往只能给出记录从纯白到纯黑的系列色调，因而只能给出单色的色调值，不能同时给出RGB三组数据。因此，对于彩色的图像值的获取，这就需要借助色彩滤镜阵列（CFA，Color Filter A