视频编码过程中用到的一些概念

1.视频

根据人眼视觉暂留原理，每秒超过 24 帧的图像变化看上去是平滑连续的，这样的连续画面叫视频。

2.分辨率

分辨率是以横向和纵向的像素数量来衡量的，表示平面图像的精细程度。视频精细程度并不只取决于视频分辨率，还取决于屏幕分辨率。

1080P 的 P 指 Progressive scan（逐行扫描），即垂直方向像素点，也就是 "高"，所以 1920X1080 叫 1080P， 不叫 1920P。

 

当 720P 的视频在 1080P 屏幕上播放时，需要将图像放大，放大操作也叫上采样。

上采样几乎都是采用内插值方法，即在原有图像的像素点之间采用合适的插值算法插入新的元素，所以图像放大也称为图像插值。

 

当 1080P 的视频在 720P 屏幕上播放时，需要将图像缩小，缩小操作也叫下采样。

下采样的定义为：对于一个样值序列，间隔几个样值取样一次，得到新序列。

 

最佳体验为屏幕与视频分辨率相同且全屏播放，视频分辨率过高的话屏幕没有能力去呈现，视频分辨率过低的话无法发挥屏幕的能力。

 

3.帧率FPS

可以将视频定义为在单位时间内连续的 n 帧，这可以视作一个新的维度，n 即为帧率，若单位时间为秒，则等同于 FPS (每秒帧数 Frames Per Second)

 

4.比特率（码率）

比特率=宽×高×颜色深度×帧每秒

例如，一段每秒 30 帧，每像素 24 bits，分辨率是 480x240 的视频，如果我们不做任何压缩，它将需要 82,944,000 比特每秒或 82.944 Mbps (30x480x240x24)。

 

1080p 60fps的视频大小演算：

一帧像素：1920×1080约等于200万

每个像素3字节

一帧画面：200万×3÷1024÷1024约等于5.7M

一秒视频大小：5.7M×60=342M

 

5.采样率

每秒从连续信号中提取并组成离散信号的采样个数，单位为赫兹（Hz）。

对于取样率、采样率和抽样率，没必要纠结它们的区别，都是同义词。

 

采样率一般用来描述音频，音频中的采样率指把音频信号数字化后 1 个通道 1 秒钟采取多少个样本，如 44.1kHz 的采样率，就是指 1 个通道 1 秒钟有 44.1k 个数据。

 

对于视频来说，若非要用采样率来描述的话，那就要分为两个层面：帧频和场频。

从帧频层面来说，采样率就是指帧率，指 1 秒钟显示多少帧图像。

从场频层面来说，采样率就是指像素频率，指 1 秒钟显示多少个像素。

 

像素频率是显示器的一个指标，可以理解成显示器的最大带宽，可以起到限制分辨率和刷新率的作用，根据含义可得出一个公式：

像素频率 = 帧率 X 帧像素数量

 

6.帧类型

一段影片当中，我们可以在帧内看到很多重复内容，如背景等。可以抽象的将它们分类为三种类型的帧。

I帧（帧内编码，关键帧）

I 帧（可参考，关键帧，帧内编码）是一个自足的帧。它不依靠任何东西来渲染，I 帧与静态图片相似。第一帧通常是 I 帧，但我们将看到 I 帧被定期插入其它类型的帧之间。

P帧（预测）

P 帧利用了一个事实：当前的画面几乎总能使用之前的一帧进行渲染。例如，在第二帧，唯一的改变是球向前移动了。仅仅使用（第二帧）对前一帧的引用和差值，我们就能重建前一帧。

B帧（双向预测）

如何引用前面和后面的帧去做更好的压缩？！简单地说 B 帧就是这么做的。

这些帧类型用于提供更好的压缩率，我们将在下一章看到这是如何发生的。现在，我们可以想到 I 帧是昂贵的，P 帧是便宜的，最便宜的是 B 帧。

 

7.编码标准

为保证编码的正确性，编码要规范化、标准化，所以就有了编码标准。

研制视频编码标准的有两大正式组织：ISO/IEC（国际标准化组织）、ITU-T（国际电信联盟通信标准部）。

ISO/IEC 制定的编码标准有：MPEG-1、MPEG-2、MPEG-4、MPEG-7、MPEG-21 和 MPEG-H 等。

ITU-T 制定的编码标准有：H.261、H.262、H.263、H.264 和 H.265 等。

 

MPEG-x 和 H.26x 标准的视频编码都是采用有损压缩的混合编码方式，主要区别在于处理图像的分辨率、预测精度、搜索范围、量化步长等参数的不同，所以其应用场合也不同。

 

8.视频编码

通过特定的压缩技术，将某个视频格式的文件转换成另一种视频格式。

 

视频数据在时域和空域层面都有极强的相关性，这也表示有大量的时域冗余信息和空域冗余信息，压缩技术就是去掉数据中的冗余信息。

 

9.视频解码

将视频压缩编码过的数据，解压缩成为视频原始数据，即视频编码的反过程。

 

对于一个播放器来说，很重要的一个指标就是能支持多少种视频解码。

 

10.视频封装格式

视频封装格式如 mp4、mkv，用来存储或传输编码数据，可以理解成一个容器。

 

封装就是按照一定规则把音视频、字幕等数据组织起来，包含编码类型等公共信息，播放器可以按照这些信息来匹配解码器、同步音视频。

 

11.其他概念

1080p逐行扫描

1080i隔行扫描

 

为什么会有29.97和59.94这种奇怪的帧数？

为了规避色彩失真问题，需要信号频段的频率可以整除线速率（分辨率×帧率），为了兼容老的黑白电视，只能选择略微降低一点帧率。