FFmpeg学习之一（音视频理论知识）

最新推荐文章于 2025-04-08 09:45:44 发布

极客雨露

最新推荐文章于 2025-04-08 09:45:44 发布

阅读量9.3k

点赞数 5

分类专栏： FFmpeg 文章标签：音视频理论知识

本文链接：https://blog.youkuaiyun.com/kyl282889543/article/details/96490778

版权

1. 音视频理论知识

1.1 基本概念

FFmpeg官方文档

1.1.1 音视频必备的基本概念

常用的视频封装格式

1）AVI 格式(后缀为 .avi)
2）DV-AVI 格式(后缀为 .avi)
3）QuickTime File Format 格式(后缀为 .mov)
4）MPEG 格式(文件后缀可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)
5）WMV 格式(后缀为.wmv .asf)
6）Real Video 格式(后缀为 .rm .rmvb)
7）Flash Video 格式(后缀为 .flv)
8）Matroska 格式(后缀为 .mkv)
9）MPEG2-TS 格式 (后缀为 .ts)

常用的视频编码器

1）H.264/AVC
2）HEVC/H.265
3）VP8
4）VP9
5）FFmpeg

FFmpeg 是一个开源框架，可以运行音频和视频多种格式的录影、转换、流功能，包含了 libavcodec: 这是一个用于多个项目中音频和视频的解码器库，以及 libavformat 一个音频与视频格式转换库。
目前支持 Linux ,Mac OS,Windows 三个主流的平台，也可以自己编译到 Android 或者 iOS 平台。
如果是 Mac OS ，可以通过 brew 安装 brew install ffmpeg --with-libvpx --with-libvorbis --with-ffplay

常用的音频编程器：

Mp3
AAC

视频流裸数据YUV

YUV简介
YUV虽说是视频帧的裸数据，YUV数据是不能直接用于渲染，还是要转换为RGB的形式才可以渲染，YUV主要应用于优化彩色视频信号的传输。YUV应该是RGB存储形式和编码存储的一种折衷吧。YUV比RGB省空间，有没有编码后数据那么耗内存去解码，只要简单作个转换就可以变成RGB信号。
YUV视频渲染方式
一个图像最终要变成RGB的表现方式才可以渲染到显示屏上。而一个RGB形式的图片是超级耗空间，所以编程时注意bitmap对象的回收。我们可以通过yuv转化为RGB图片显示，但这种方式非常消耗CPU性能。一般都通过opengl文理利用GPU直接渲染，这样对CPU的消耗就会少很多。
具体YUV怎么通过openGL渲染请参考我的另一篇博客：
FFmpeg学习之二（yuv视频渲染）
RGB 和 YUV的区别

RGB
我们先来看一下RGB的定义：
RGB是红绿蓝三原色的意思，R=Red、G=Green、B=Blue。
计算机显示彩色图像的时，最终显示的时候，要控制一个像素中Red,Green,Blue的值，来确定这个像素的颜色。计算机中无法模拟连续的存储从最暗到最亮的量值，而只能以数字的方式表示。于是，结合人眼睛的敏感程度，使用3个字节（3*8位）来分别表示一个像素里面的Red,Green和Blue的发光强度数值，这就是常见的RGB格式。我们可以打开画图板，在自定义颜色工具框中，输入r,g,b值，得到不同的颜色。
但是对于视频捕获和编解码等应用来讲，这样的表示方式数据量太大了。需要想办法在不太影响感觉的情况下，对原始数据的表示方法进行更改，减少数据量。
无论中间处理过程怎样，最终都是为了展示给人观看，这样的更改，也是从人眼睛的特性出发，和发明RGB三原色表示方法的出发点是一样的。
于是我们使用Y,Cb,Cr模型来表示颜色。Iain的书中写道：The human visual system (HVS) is less sensitive to colour than to luminance (brightness).人类视觉系统（其实就是人的眼睛）对亮度的感觉比对颜色更加敏感。
在RGB色彩空间中，三个颜色的重要程度相同，所以需要使用相同的分辨率进行存储，最多使用RGB565这样的形式减少量化的精度，但是3个颜色需要按照相同的分辨率进行存储，数据量还是很大的。所以，利用人眼睛对亮度比对颜色更加敏感，将图像的亮度信息和颜色信息分离，并使用不同的分辨率进行存储，这样可以在对主观感觉影响很小的前提下，更加有效的存储图像数据。
YUV
YCbCr色彩空间和它的变形（有时被称为YUV）是最常用的有效的表示彩色图像的方法。Y是图像的亮度（luminance/luma）分量，使用以下公式计算，为R,G,B分量的加权平均值：

 Y = kr R + kgG + kbB
        其中k是权重因数。
        上面的公式计算出了亮度信息，还有颜色信息，使用色差（color difference/chrominance或chroma）来表示，其中每个色差分量为R,G,B值和亮度Y的差值：
　　Cb = B －Y
　　Cr = R －Y
        Cg = G－ Y
        其中，Cb+Cr+Cg是一个常数（其实是一个关于Y的表达式），所以，只需要其中两个数值结合Y值就能够计算出原来的RGB值。所以，我们仅保存亮度和蓝色、红色的色差值，这就是(Y,Cb,Cr)。
相比RGB色彩空间，YCbCr色彩空间有一个显著的优点。Y的存储可以采用和原来画面一样的分辨率，但是Cb,Cr的存储可以使用更低的分辨率。这样可以占用更少的数据量，并且在图像质量上没有明显的下降。所以，将色彩信息以低于量度信息的分辨率来保存是一个简单有效的图像压缩方法。
在COLOUR SPACES .17 ITU-R recommendation BT.601 中，建议在计算Y时，权重选择为kr=0.299,kg=0.587,kb=0.114。于是常用的转换公式如下：
Y = 0.299R + 0.587G + 0.114B
Cb = 0.564(B － Y )
Cr = 0.713(R － Y )
R = Y + 1.402Cr
G = Y - 0.344Cb - 0.714Cr
B = Y + 1.772Cb

有了上面这个公式，我们就能够将一幅RGB画面转换成为YUV画面了，反过来也可以。

下面将画面数据究竟是以什么形式存储起来的。

在RGB24格式中，对于宽度为w,高度为h的画面，需要wh3个字节来存储其每个像素的rgb信息，画面的像素数据是连续排列的。按照r(0,0),g(0,0),b(0,0);r(0,1),g(0,1),b(0,1);…;r(w-1,0),g(w-1,0),b(w-1,0);…;r(w-1,h-1),g(w-1,h-1),b(w-1,h-1)这样的顺序存放起来。
在YUV格式中，以YUV420格式为例。宽度为w高度为h的画面，其亮度Y数据需要wh个字节来表示（每个像素点一个亮度）。而Cb和Cr数据则是画面中4个像素共享一个Cb,Cr值。这样Cb用wh/4个字节，Cr用wh/4个字节。
YUV文件中，把多个帧的画面连续存放。就是YUV YUV YUV……这样的不断连续的形式，而其中每个YUV，就是一幅画面。
在这单个YUV中，前wh个字节是Y数据，接着的wh/4个字节是Cb数据，再接着的wh/4个字节为Cr数据。
在由这样降低了分辨率的数据还原出RGB数据的时候，就要依据像素的位置找到它对应的Y,Cb,Cr值，其中Y值最好找到，像素位置为x,y的话，Y数据中第ywidth+x个数值就是它的Y值。Cb和Cr由于是每2x2像素的画面块拥有一个，这样Cb和Cr数据相当于两个分辨率为w/2 * h/2的画面，那么原来画面中的位置为x,y的像素，在这样的低分辨率画面中的位置是x/2,y/2，属于它的Cb,Cr值就在这个地方：(y/2)(width/2)+(x/2)。
为了直观起见，再下面的图中，分别将Y画面(Cb,Cr=0)和Cb,Cr画面(Y=128)显示出来，可见Cb,Cr画面的分辨率是Y画面的1/4。但是合成一个画面之后，我们的眼睛丝毫感觉不到4个像素是共用一个Cb,Cr的。

Cb,Cr画面

将Cb,Cr画面放大观察，里面颜色相同的块都是2x2大小的。
附件为Windows Mobile上使用公式进行YUV到RGB转换的程序。其中需要注意的是Cb,Cr在计算过程中是会出现负数的，但是从-128到127这些数值都用一个字节表示，读取的时候就映射0到255这个区间，成为了无符号的值，所以要减去128，才能参与公式计算。这样的运算有浮点运算，效率是比较低的，所以要提高效率的话，一般在实用程序中使用整数计算或者查表法来代替。还有，运算后的r,g,b可能会超过0-255的区间，作一个判断进行调整就可以了。

什么是YUV/YCbCr/YPbPr？

亮度信号经常被称作Y，色度信号是由两个互相独立的信号组成。视颜色系统和格式不同，两种色度信号经常被称作U和V或Pb和Pr或Cb和Cr。这些都是由不同的编码格式所产生的，但是实际上，他们的概念基本相同。在DVD中，色度信号被存储成Cb和Cr（C代表颜色，b代表蓝色，r代表红色）

yuv中什么是4:4:4、4:2:2、4:2:0？

在最近十年中，视频工程师发现人眼对色度的敏感程度要低于对亮度的敏感程度。在生理学中，有一条规律，那就是人类视网膜上的视网膜杆细胞要多于视网膜锥细胞，说得通俗一些，视网膜杆细胞的作用就是识别亮度，而视网膜锥细胞的作用就是识别色度。所以，你的眼睛对于亮和暗的分辨要比对颜色的分辨精细一些。正是因为这个，在我们的视频存储中，没有必要存储全部颜色信号。既然眼睛看不见，那为什么要浪费存储空间（或者说是金钱）来存储它们呢？
像Beta或VHS之类的消费用录像带就得益于将录像带上的更多带宽留给黑—白信号（被称作“亮度”），将稍少的带宽留给彩色信号（被称作“色度”）。
在MPEG2（也就是DVD使用的压缩格式）当中，Y、Cb、Cr信号是分开储存的（这就是为什么分量视频传输需要三条电缆）。其中Y信号是黑白信号，是以全分辨率存储的。但是，由于人眼对于彩色信息的敏感度较低，色度信号并不是用全分辨率存储的。
色度信号分辨率最高的格式是4:4:4，也就是说，每4点Y采样，就有相对应的4点Cb和4点Cr。换句话说，在这种格式中，色度信号的分辨率和亮度信号的分辨率是相同的。这种格式主要应用在视频处理设备内部，避免画面质量在处理过程中降低。当图像被存储到Master Tape，比如D1或者D5，的时候，颜色信号通常被削减为4:2:2。
其次就是4:2:2，就是说，每4点Y采样，就有2点Cb和2点Cr。在这种格式中，色度信号的扫描线数量和亮度信号一样多，但是每条扫描线上的色度采样点数却只有亮度信号的一半。当4:2:2信号被解码的时候，“缺失”的色度采样，通常由一定的内插补点算法通过它两侧的色度信息运算补充。
看 4:2:2格式亮度、色度采样的分布情况。在这里，每个象素都有与之对应的亮度采样，同时一半的色度采样被丢弃，所以我们看到，色度采样信号每隔一个采样点才有一个。当着张画面显示的时候，缺少的色度信息会由两侧的颜色通过内插补点的方式运算得到。就像上面提到的那样，人眼对色度的敏感程度不如亮度，大多数人并不能分辨出4:2:2和4:4:4颜色构成的画面之间的不同。
色度信号分辨率最低的格式，也就是DVD所使用的格式，就是4:2:0了。事实上4:2:0是一个混乱的称呼，按照字面上理解，4:2:0应该是每4点Y采样，就有2点Cb和0点Cr，但事实上完全不是这样。事实上，4:2:0的意思是，色度采样在每条横向扫描线上只有亮度采样的一半，扫描线的条数上，也只有亮度的一半！换句话说，无论是横向还是纵向，色度信号的分辨率都只有亮度信号的一半。举个例子，如果整张画面的尺寸是720480，那么亮度信号是720480，色度信号只有360*240。在 4:2:0中，“缺失”的色度采样不单单要由左右相邻的采样通过内插补点计算补充，整行的色度采样也要通过它上下两行的色度采样通过内插补点运算获得。这样做的原因是为了最经济有效地利用DVD的存储空间。诚然，4:4:4的效果很棒，但是如果要用4:4:4存储一部电影，我们的DVD盘的直径至少要有两英尺（六十多厘米）！
概念上4:2:0颜色格式非交错画面中亮度、色度采样信号的排列情况。同4:2:2格式一样，每条扫描线中，只有一半的色度采样信息。与4:2:2不同的是，不光是横向的色度信息被“扔掉”了一半，纵向的色度信息也被“扔掉”了一半，整个屏幕中色度采样只有亮度采样的四分之一。请注意，在4:2:0颜色格式中，色度采样被放在了两条扫描线中间。

什么是YV12，什么是YUY2？

YUV 格式通常有两大类：打包（ packed ）格式和平面（ planar ）格式。前者将 YUV 分量存放在同一个数组中，通常是几个相邻的像素组成一个宏像素（ macro-pixel ）；而后者使用三个数组分开存放 YUV 三个分量，就像是一个三维平面一样。表 2.3 中的 YUY2 到 Y211 都是打包格式，而 IF09 到 YVU9 都是平面格式。（注意：在介绍各种具体格式时，
YUV 各分量都会带有下标，如 Y0 、 U0 、 V0 表示第一个像素的YUV 分量， Y1 、 U1 、 V1 表示第二个像素的 YUV 分量，以此类推。） YUY2 （和 YUYV ）格式为每个像素保留 Y 分量，而 UV 分量在水平方向上每两个像素采样一次。一个宏像素为 4 个字节，实际表示 2 个像素。（ 4:2:2 的意思为一个宏像素中有 4 个 Y 分量、 2 个 U 分量和 2个 V 分量。）图像数据中 YUV 分量排列顺序如下：
Y0 U0 Y1 V0 Y2 U2 Y3 V2 …