rtp/h264格式解析

satadriver

已于 2024-11-29 10:56:35 修改

阅读量366

点赞数 8

分类专栏：网络数据结构和算法文章标签：网络协议

于 2024-11-19 11:11:26 首次发布

本文链接：https://blog.youkuaiyun.com/m0_37567738/article/details/143875784

版权

数据结构和算法同时被 2 个专栏收录

57 篇文章

订阅专栏

网络

13 篇文章

订阅专栏

rtp协议

在这里插入图片描述

1)        V：RTP协议版本号，占2位。当前协议版本号为2。

2)        P：填充标志，占1位，如果P=1，则在该报文的尾部填充一个或多个额外的八位组。

3)        X：扩展标志，占1位，如果X=1，则在RTP报头后跟有一个扩展报头。

4)        CC：CSRC计数器，占4位，CSRC 标识符的个数。

5)        M: 标记，占1位，不同的有效载荷有不同的含义。对于视频，标记一帧的结束；对于音频，标记会话的开始。

6)        PT: 有效荷载类型，占7位。

7)        序列号：占16位，用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。这个字段当下层的承载协议用UDP的时候，网络状况不好的时候可以用来检查丢包。同时出现网络抖动的情况可以用来对数据进行重新排序，序列号的初始值是随机的，同时音频包和视频包的sequence是分别记数的。

8)        时戳(Timestamp)：占32位，必须使用90 kHz 时钟频率。时戳反映了该RTP报文的第一个八位组的采样时刻。接收者使用时戳来计算延迟和延迟抖动，并进行同步控制。

9)        同步信源(SSRC)标识符：占32位，用于标识同步信源。该标识符是随机选择的，参加同一视频会议的两个同步信源不能有相同的SSRC。

10)    特约信源(CSRC)标识符：每个CSRC标识符占32位，可以有0～15个。每个CSRC标识了包含在该RTP报文有效载荷中的所有特约信源。

注意：

CSRC的个数由cc字段决定，大部分情况下，CSRC个数是0，也就是说，RTP头部大小是12字节。
v字段一般是2，p、x、m、cc一般是0。

h264码流

单个NAL单元包：荷载中只包含一个NAL单元。NAL头类型域等于原始 NAL单元（NALU）类型，即Type在范围1到23之间。
聚合包（组合包）：本类型用于聚合多个NAL单元到单个RTP荷载中。本包有四种版本，单时间聚合包类型A (STAP-A)，单时间聚合包类型B (STAP-B)，多时间聚合包类型(MTAP)16位位移(MTAP16), 多时间聚合包类型(MTAP)24位位移(MTAP24)。
赋予STAP-A, STAP-B, MTAP16, MTAP24的NAL单元类型号（Type）分别是 24,25, 26, 27。
分片包：用于分片单个NAL单元到多个RTP包。现存两个版本FU-A，FU-B,用NAL单元类型（Type）28，29标识。

常用的打包时的分包规则是：如果小于MTU采用单个NAL单元包，如果大于MTU就采用FUs分片方式。常用的打包方式就是单个NAL包和FU-A方式。

一个原始的 H.264 NALU 单元常由 [Start Code] [NALU Header] [NALU Payload] 三部分组成,，其中 Start Code 用于标示这是一个 NALU 单元的开始，必须是 “00 00 00 01” 或 “00 00 01”, NALU 头仅一个字节, 其后都是 NALU 单元载荷。

打包时去除 “00 00 01” 或 “00 00 00 01” 的开始码, 把其他数据封装成 RTP 包即可。

Single NAL Uint Packet（单个NAL单元包）图示：

在这里插入图片描述

NAL 字段解析：
在这里插入图片描述

NAL Type字段解析：

在这里插入图片描述

  0     没有定义
  1-23  NAL单元   单个 NAL 单元包.
  24    STAP-A   单一时间的组合包
  25    STAP-B   单一时间的组合包
  26    MTAP16   多个时间的组合包
  27    MTAP24   多个时间的组合包
  28    FU-A     分片的单元
  29    FU-B     分片的单元
  30-31 没有定义

在这里插入图片描述

分片单元（FU-A）图示：

在这里插入图片描述

FU-A包括FU Indicator和FU Header：

在这里插入图片描述

FU Indicator字段解释：


F：置位表示非法NALU，需丢弃。
NRI：表示重要程度。
Type = 28 （11100）,表示该RTP包的一个分片。

FU Header字段解释：

S: 1 bit，开始位。指示分片NAL单元的开始。

E: 1 bit，结束位。指示分片NAL单元的结束。

R: 1 bit，保留位。必须为0，接收者必须忽略该位。

TYPE: 5 bit，NALU的type。

打包时，原始的NAL头的前三位为FU indicator的前三位，原始的NAL头的后五位为FU header的后五位。

除此之外，H265也是常见的流媒体格式。其头部格式如下：

在这里插入图片描述
字段解释：


 F：    1 bit
forbidden_zero_bit，禁止位，大多数情况为0，表示NAL单元类型和有效载荷不应该包含误码或其它语法错误。值为1，表示该NAL单元类型和有效载荷可能包含误码或者其它语法错误。

Type:  6 bit 
nal_uint_type，代表nal单元类型，允许NAL单元的类型编码数比 h264/AVC多一倍，达到64类，其中32类作用在VCL NAL单元，32类用作non-VCL NAL单元。

LayerId：6 bit
nal_layer_id，hevc中等于0，扩展标识符。该语法未来用于标识CVS中可能出现的层，其中层包括空间可伸缩层、质量可伸缩层、纹理视图或深度视图。

TID：       3 bit
nal_temporal_id_plus1，层识别信息。表示当前NAL单元属于哪个时域子层，时域标识符的值为0~6。

rtsp码流解析

在这里插入图片描述

rtsp视频流数据包括3部分。rtsp头，rtp头，h264帧数据。rtsp头用c语言结构体描述：

typedef struct RtspCntHeader {
    uint8_t  magic;        // 0x24
    uint8_t  channel;
    uint16_t length;
    uint8_t  payload[0];   // >> RtpHeader
} RtspCntHeader_st;



Magic魔数，一个字节，固定为0x24，如果不是就把此包丢掉
Channel，一个字节取值由RTSP协议中Setup阶段设置的interleaved来决定，默认0-1，0代表后面的是RTP包，1代表RTCP包，本文中所有手动的值都为0x02，所以不看这个值，具体请查看标准文档
Length，两个字节，表示RTP/RTCP数据包的长度

rtsp报文头图示：
在这里插入图片描述

以下内容都是基于rfc3984，RTP负载H264时的参数配置：

1、在TCP传输时，Transport头中的interleaved参数必须设置，比如0-1，或者2-3。TCP传输时，每次先接收4个字节的rtp interleaved frame，其结构定义：第一个字节固定"$" (dollar符），第二个字节channel值取自interleaved参数，区分RTP/RTCP，第三四字节代表后续RTP/RTCP包的长度，所以TCP方式下，应该先接收4字节，首先校验第一字节，其次判断第二字节即后续包类型，最后接收后续包。

2、在UDP传输时，Transport头中没有interleaved参数，而用端口代替。客户端setup：Transport增加参数client-port:8000-8001，服务器返回时再增加参数server-port:37800-37801。参数含义类似于TCP，第一个值是接收/发送RTP包的端口，第二个值是接收/发送RTCP包的端口。所以TCP时叫交错传输，UDP时是非交错传输。

3、Transport头只能出现在setup命令中。

4、在Describe命令返回的reply包中，带有负载sdp。

5、sdp参数：流参数a=必须紧跟在对应的m=之后。

6、sdp参数：fmtp中：packetization-mode代表传输模式，有三个取值：0: Single NAL unit mode; 1: Single NAL unit mode; 2: Multiple NAL unit mode，海康的TCP这里设置是1，可能代表其TCP时不发送RTCP包。profile-level-id代表解码参数，具体参考h264标准，如果没有设置，则使用默认baseline level1的解码参数。sprop-parameter-sets代表sps和pps，逗号前是sps二进制数据的base64编码，逗号后是pps的编码，里面可以解析出视频的基本配置，来源是h264第一帧数据的头。

7、rtp包的marker参数：marker代表本包是一系列RTP包的结尾，这些RTP包携带的是分片数据，一般是I帧，因为单帧太大进行分片，每个RTP包发送一片，marker=false，最后一包marker=ture。而如果帧数据很小，一般是BP帧，一帧或者几帧被一个RTP包发送，则marker=true。也即marker代表完整帧（一帧或几帧）。

8、rtp包的padding参数：padding用于忽略，其数据在正常流数据的末尾，解码时需要丢弃，padding=true，则RTP包最后一个字节代表padding数量，也即要丢弃几个字节。padding的作用是发送方对齐数据包（比如4字节对齐）。

rtsp流DESCRIBE包sdp协议相关字段解析：

o= 主要是IN后面的，代表流拥有者的IP
t=0 0：时间范围，0代表实时，数字或ntp时间可以用来播放录像
m=video 0 RTP/AVP 96：m是流描述的起始，后面跟的都是该流的参数，直到下一个m=（另一个流）。
video：代表以下是视频流
0：发送端口，0是默认采用setup中的端口
RTP/AVP：数据传输方式，默认UDP，RTP/AVP/TCP是TCP方式
96：视频类型，文档中是动态类型，一般是H264
c=IN IP4 0.0.0.0：流的IP地址，没有的话就是默认（当前服务器的IP）
a=recvonly：只接收标志，一般都有
a=control:trackID=1：具体流的uri，这里是视频流的，在setup的时候需要配置该地址，没有rtsp://的时候，直接把control的值加到请求流地址后面
a=rtpmap:96 H264/90000：视频流信息，96视频类型，H264/90000视频类型/采样率，时间戳的增加是以采样率的倒数为单位，比如每秒25帧，则每两帧（不是两RTP包）的时间戳间隔是：(1/25)*90000=3600(无单位)
a=fmtp:96 profile-level-id=420029; packetization-mode=1; sprop-parameter-sets=Z00AH5pkAoAt/zUBAQFAAAD6AAAw1AE=,aO48gA==
这个比较麻烦，里面是视频宽高信息，但是经过哥伦布算法计算，又经过BASE64编码：【引述】使用RTP传输H264的时候,需要用到sdp协议描述,其中有两项:Sequence Parameter Sets (SPS) 和Picture Parameter Set (PPS)需要用到,那么这两项从哪里获取呢?答案是从H264码流中获取.在H264码流中,都是以"0x00 0x00 0x01"或者"0x00 0x00 0x00 0x01"为开始码的,找到开始码之后,使用开始码之后的第一个字节的低5位判断是否为7(sps)或者8(pps), 及data[4] & 0x1f == 7 || data[4] & 0x1f == 8.然后对获取的nal去掉开始码之后进行base64编码,得到的信息就可以用于sdp.sps和pps需要用逗号分隔开来。
m=audio 0 RTP/AVP 8：这里开始是音频流的描述
a=Media_header:这是海康解码器需要的解码头内容的16进制值

参考链接：