RTP打包H264

最新推荐文章于 2024-10-10 14:38:33 发布

原创最新推荐文章于 2024-10-10 14:38:33 发布 · 744 阅读

1 ·

CC 4.0 BY-SA版权

网络传输专栏收录该内容

2 篇文章

订阅专栏

本文详细介绍了H264视频编码标准中的帧结构，包括NALU头和主体的构成，时间戳的计算方法，以及FU-A分包方式等关键信息。特别强调了不同NALU类型的作用和重要性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

h264的结构如图所示：（参考链接）（重要参考）

关于时间戳，需要注意的是h264的采样率为90000HZ，因此时间戳的单位为1(秒)/90000，因此如果当前视频帧率为25fps，那时间戳间隔或者说增量应该为3600，如果帧率为30fps，则增量为3000，以此类推。

帧格式

H264帧由NALU头和NALU主体组成。NALU头由一个字节组成,它的语法如下:

      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI| Type   |
      +---------------+

F: 1个比特.
forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.

NRI: 2个比特.
nal_ref_idc. 取00~11,似乎指示这个NALU的重要性,如00的NALU解码器可以丢弃它而不影响图像的回放,0～3，取值越大，表示当前NAL越重要，需要优先受到保护。如果当前NAL是属于参考帧的片，或是序列参数集，或是图像参数集这些重要的单位时，本句法元素必需大于0。

Type: 5个比特.
nal_unit_type. 这个NALU单元的类型,1～12由H.264使用，24～31由H.264以外的应用使用,简述如下:

0     没有定义
1-23 NAL单元单个 NAL 单元包
1     不分区，非IDR图像的片
2     片分区A
3     片分区B
4     片分区C
5     IDR图像中的片
6     补充增强信息单元（SEI）
7     SPS
8     PPS
9     序列结束
10    序列结束
11    码流借宿
12    填充
13-23 保留

24    STAP-A   单一时间的组合包
25    STAP-B   单一时间的组合包
26    MTAP16   多个时间的组合包
27    MTAP24   多个时间的组合包
28    FU-A     分片的单元
29    FU-B     分片的单元
30-31 没有定义

FU-A分包方式：

分包

h264包在传输的时候，如果包太大，会被分成多个片。NALU头会被如下的2个自己代替。

The FU indicator octet has the following format:

      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |F|NRI| Type   |
      +---------------+

别被名字吓到这个格式就是上面提到的RTP h264负载类型，Type为FU-A

The FU header has the following format:

      +---------------+
      |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+-+
      |S|E|R| Type   |
      +---------------+

S bit为1表示分片的NAL开始，当它为1时，E不能为1
E bit为1表示结束，当它为1，S不能为1

R bit保留位

Type就是NALU头中的Type,取1-23的那个值