学习笔记(03):声网Agora 初级认证课程（Android）-视频的编码与压缩：网络传输中为什么要压缩视频...

立即学习:https://edu.youkuaiyun.com/course/play/30717/450162?utm_source=blogtoedu

视频编码

YUV~RGB

 

YUV的每一帧确定一个类型IPB：

• I帧不会依赖其他帧信息
• P和B帧的话都是会依赖其他帧信息来完成自身预测
• P帧是前向参考，B帧是前后双向参考。
• 视频流一般从I帧开始，后面轻微运动都是P/B，直到遇到场景切换就再插入一个I。
• 强行指定P/B参考不允许越过I帧，这样的I帧称为IDR。
• 每一个IDR间隔称为GOP。 

帧内/帧间预测

• YUV相邻像素值突变几率极小

帧内预测

• 垂直预测模式
• 水平预测模式
• 均值预测模式

码流中传输帧内预测模式标志位、残差即可。

 

帧间预测

• 以当前块空域相邻的位置，在时域参考帧上的同为块，作为起始点进行规则搜索。
• 直到搜索完找到能够节省码流最大的块作为帧间预测块，当前块到预测块的位移称为运动矢量。
• 码流中传输运动矢量、帧间预测模式标志位、残差即可。

宏块概念：16x16的块

变换、量化