音视频入门H264&AAC

音视频基础知识简述：
录像、录音，实质上是一个压缩采集到的图像或者音频数据的过程，这个过程又称为编码,混合。那为什么需要编码（压缩）呢？因为设备采集到的音视频数据太大了，如果不进行压缩，占用的空间太大，不利于传输等。
而播放视频或者音频文件，实质上是一个解压缩的过程，这个过程又称为解码。那为什么又要解码（解压缩）呢？因为播放器播放需要的是音频采样数据、视频像素数据，通俗一点来说就是需要的是编码之前的数据，所以需要解码来获取。

播放一个视频文件的流程如下：

编码的目的：
码率如果为10Mb/s，代表1秒钟有10M bit的视频数据，对于YUV422格式的1080P视频而言，一帧图像是1920x1080x2x8/1024/1024 = 31.64Mbit，1秒钟30帧图像的话，则有949.2Mb/s，可见其数据量之大，不压缩根本无法网上传播，通常720P的视频码率4Mb/s,1080P的码率6~8Mb/s,压缩率都在100倍以上。
同理原始音频采样数据体积很大，一般情况下一首4分钟的PCM格式的歌曲体积为：
4 * 60 * 44100 * 2 * 8 * 2 = 338.4Mbit = 1.41Mb/s
PS：这里假定采样率为44100，采样精度为16bit。
而平时一首4分钟的MP3歌曲体积一般在4MB左右。
如果是AAC编码格式的歌曲，体积就更小。

常见的一些音视频质量参数：码率
码率：影响体积，与体积成正比：码率越大，体积越大；码率越小，体积越小。码率就是数据传输时单位时间传送的数据位数,一般我们用的单位是kbps即千位每秒。也就是取样率（并不等同与采样率，采样率的单位是Hz，表示每秒采样的次数），单位时间内取样率越大，精度就越高，处理出来的文件就越接近原始文件，但是文件体积与取样率是成正比的，所以几乎所有的编码格式重视的都是如何用最低的码率达到最少的失真，围绕这个核心衍生出来cbr（固定码率）与vbr（可变码率）， “码率”就是失真度，码率越高越清晰，反之则画面粗糙而多马赛克。

常见的一些音视频质量参数：帧率
帧率（FPS）：影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。如果码率为变量，则帧率也会影响体积，帧率越高，每秒钟经过的画面越多，需要的码率也越高，体积也越大。
帧率就是在1秒钟时间里传输的图片的帧数，也可以理解为图形处理器每秒钟能够刷新几次。每秒显示的图片数影响画面流畅度，与画面流畅度成正比：帧率越大，画面越流畅；帧率越小，画面越有跳动感。由于人类眼睛的特殊生理结构，如果所看画面之帧率高于16的时候，就会认为是连贯的，此现象称之为视觉暂留。并且当帧速达到一定数值后，再增长的话，人眼也不容易察觉到有明显的流畅度提升了。

常见的一些音视频质量参数：分辨率
分辨率：影响图像大小，与图像大小成正比：分辨率越高，图
像越大；分辨率越低，图像越小。

常见的一些音视频质量参数：GOP
关键帧的周期，也就是两个IDR帧