学习笔记(03):声网Agora 初级认证课程（Android）-视频的编码与压缩：网络传输中为什么要压缩视频...

立即学习:https://edu.youkuaiyun.com/course/play/30717/450162?utm_source=blogtoedu

视频编码

YUV~RGB

 

YUV的每一帧确定一个类型IPB：

• I帧不会依赖其他帧信息
• P和B帧的话都是会依赖其他帧信息来完成自身预测
• P帧是前向参考，B帧是前后双向参考。
• 视频流一般从I帧开始，后面轻微运动都是P/B，直到遇到场景切换就再插入一个I。
• 强行指定P/B参考不允许越过I帧，这样的I帧称为IDR。
• 每一个IDR间隔称为GOP。 

帧内/帧间预测

• YUV相邻像素值突变几率极小

帧内预测

• 垂直预测模式
• 水平预测模式
• 均值预测模式

码流中传输帧内预测模式标志位、残差即可。

 

帧间预测

• 以当前块空域相邻的位置，在时域参考帧上的同为块，作为起始点进行规则搜索。
• 直到搜索完找到能够节省码流最大的块作为帧间预测块，当前块到预测块的位移称为运动矢量。
• 码流中传输运动矢量、帧间预测模式标志位、残差即可。

宏块概念：16x16的块

变换、量化、滤波、熵编码

 

cavlc上下文自适应变长编码

cabac上下文的自适应二进制算术编码

 

总结

输入的原始YUV进来，采用帧类型分析得到IDR、I、P、B类型。

I帧采用帧内预测，P、B帧采用帧间预测+块划分得到残差，然后采用变换+量化进行进一步压缩。

擦用滤波去除方块效应

采用熵编码将像素值转换为二进制流进一步压缩，输出压缩后可传输的码流。

最后和音频编码出来的码流一起封装成我们常见的mp4等格式。