H264之UDP传输码流、画质、延迟理解记录

H264网络传输之UDP码流与图像的相关性

一、H264编码中会有I帧、P帧、B帧的产生。其中I帧为原始帧，此帧编码后的数据很大，其中1080P图像会达到几百至上千Kbit，一般会设置最大码流限制，在限制的同时会影响到图像质量，一般情况下至需要几百Kbit才可以保证图像质量。P帧与B帧均为参考帧，编码后数据较小，一般在十几至几十Kbit。
二、在网络传输过程中，UDP协议不具备可靠性，在网络传输过程中不得不考虑网络传输带宽，与传输效率保证不丢包。Linux下socket传输下UDP协议下单包最多支持65507字节，请求次数最多大概在100次每秒。这个单包大小与包发送间隔时间决定了网络的峰值码流与均值码流。为了限制峰值码流，一般会将单包大小进行限制。
三、H264网络传输关心的四个关键问题：峰值码流、平均码流、图像画质、延迟。
1、（只考虑码流与图像质量，不考虑不同编码器，不同编码方式与应用场景带来的差异）一般情况下编码码流越大图像画质越好，I帧数据几百Kbit以上，需要通过UDP分包发送。
2、对于解码端，如果没有多余缓存时间，为最低延迟的解码过程，接收一帧解一帧，图像可能会出现卡顿，由于I帧没在帧间隔时间内发送完。解决卡顿可增大UDP单包发送数据，保证在一帧间隔时间内将包发送完毕，会牺牲网络的峰值码流指标；如果想降低网络峰值码流，则需要降低UDP单包大小，则可能会出现I帧卡顿现象。此时解决卡顿的办法即添加缓存(一般缓存100ms即可)，会牺牲图像实时性指标
3、在不牺牲图像实时性的前提下：对于需要降低平均码流的需求，一般为降低编码帧率或限制编码码流，牺牲图像质量。减少I帧数据，对码流的限制有很大影响，同时适当降低P帧和B帧的码流。如果只需解决峰值码流，即只需限制最大编码码流即可。