【音视频】RTP封包H264信息

最新推荐文章于 2025-04-11 13:46:39 发布
最新推荐文章于 2025-04-11 13:46:39 发布
阅读量897 收藏 30
点赞数 23
文章标签： 音视频
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/gma999/article/details/145749615
版权

H264-RTP封包逻辑

单个NALU

结构分析

     0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |F|NRI|  Type   |                                               |
    +-+-+-+-+-+-+-+-+                                               |
    |                                                               |
    |               Bytes 2..n of a single NAL unit                 |
    |                                                               |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :...OPTIONAL RTP padding        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 2.  RTP payload format for single NAL unit packet

第一个字节 

  • RTP负载的第一个字节
    • 这个字节 既是 RTP 负载头，又是 NAL 单元头。 在单个 NAL 单元包的上下文中，它们是合二为一的（这三个字段是由高位到地位）
    • F (Forbidden zero bit, 1 bit): 禁止位。在 H.264 标准中，这个位 必须为 0。如果解码器遇到 F 位为 1 的 NAL 单元，应该将其视为语法错误。 在 RTP 封装中，这个位从原始 NAL 单元的 F 位直接复制过来
    • NRI (NAL Ref ID, 2 bits): NAL 单元参考 ID (NAL unit_ref_idc)。 指示 NAL 单元的 重要性，用于解码过程中的参考帧管理。 
      • NRI 为 0 表示该 NAL 单元是 非参考帧，可以被丢弃而不影响后续帧的解码质量 (当然，画面质量会下降)。
      •  NRI 大于 0 表示该 NAL 单元是 参考帧，对于解码后续帧非常重要，不能随意丢弃。
      •  NRI 的值从原始 NAL 单元的 NRI 位直接复制过来
    • Type (NAL unit type, 5 bits): NAL 单元类型 (nal_unit_type)
      • 类型 1-5: VCL (Video Coding Layer) NAL 单元，包含实际的视频编码数据 (例如 Slice, IDR Slice 等)
      • 类型 6: SEI (Supplemental Enhancement Information) NAL 单元，包含补充增强信息，例如图像定时信息、显示信息等
      • 类型 7: SPS (Sequence Parameter Set) NAL 单元，序列参数集，包含序列级别的参数，例如profile, level, 图像尺寸等
      • 类型 8: PPS (Picture Parameter Set) NAL 单元，图像参数集，包含图像级别的参数，例如slice groups, slice order 等
      • 类型 9: AUD (Access Unit Delimiter) NAL 单元，访问单元分隔符，用于指示一个新的访问单元 (通常对应一帧图像) 的开
      • 类型13： SPS subset (序列参数集子集)

总结： RTP 负载的第一个字节，通过 F, NRI, Type 这三个字段，完整地携带了 NAL 单元的关键头部信息。 你可以把它想象成 NAL 单元的 "身份证"，包含了它的基本属性 (是否重要、类型是什么)

中间部分Nalu

 Nalu中的数据部分

  • 这部分包含了 NAL 单元的剩余字节，也就是 NAL 单元的负载数据 (NAL unit payload data)
    •  如果 NAL 单元只有一个字节 (只有头部)，那么这部分就为空
    • 对于包含视频编码数据的 VCL NAL 单元，这部分会包含压缩后的视频数据
    • 对于 SPS, PPS, SEI 等参数集或补充信息 NAL 单元，这部分会包含相应的参数或信息数据

最后一行

  •  NAL 单元数据之后，是 可选的 RTP 填充 (padding)
  • RTP padding 的目的是为了 满足某些 RTP 应用或底层传输协议对 RTP 包长度的要求
  • 总结：这部分是 RTP 包的 "化妆"，为了满足一些特殊需求而添加的填充数据，对于 NAL 单元本身的内容没有影响

聚合包

将 多个小的 NAL 单元 打包到一个 RTP 包的负载中， 共享同一个 RTP 头部。 这样可以减少 RTP 包头的数量，提高传输效率，尤其是在 MTU 较小的网络环境下

存在原因

  • MTU 差异问题: 文档指出，两种典型的目标网络有显著的 MTU 差异
    • 有线 IP 网络: 例如以太网，MTU 通常较大，约为 1500 字节
    • 无线通信系统：一般是254字节或者更小
  • 媒体转码和开销
    • 如果只使用 "单个 NAL 单元包" 这种简单的方式，在 MTU 较小的无线网络中，每个 RTP 包只能包含一个 NAL 单元，导致 RTP 头部开销占比过高，传输效率低下

主要类型和规则

单时间聚合包 (Single-Time Aggregation Packet, STAP)

  • 聚合具有相同 NALU-time 的 NAL 单元。 这意味着 STAP 中聚合的 NAL 单元应该在 同一个时间点 被解码或呈现
  • 主要有两种STAP类型
    • STAP-A: 不包含 DON 相关字段。适用于不需要考虑解码顺序的应用场景
    • STAP-B: 包含 DON 相关字段 (DON, DONB, DOND)。适用于需要处理解码顺序的应用场景

多时间聚合包 (Multi-Time Aggregation Packet, MTAP)

  • 聚合 NALU-time 可能不同的 NAL 单元。 这意味着 MTAP 中聚合的 NAL 单元可能属于 不同的时间点
  • 定义了两种 MTAP 子类型，区别在于 NAL 单元时间戳偏移量 (timestamp offset) 的长度
    • MTAP16: 使用 16 位的 timestamp offset 字段
    • MTAP24: 使用 24 位的 timestamp offset 字段。 选择 16 位还是 24 位取决于时间戳偏移量的范围需求

RTP结构分析

     0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |F|NRI|  Type   |                                               |
    +-+-+-+-+-+-+-+-+                                               |
    |                                                               |
    |             one or more aggregation units                     |
    |                                                               |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :...OPTIONAL RTP padding        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 3.  RTP payload format for aggregation packets

详细分析

  • 第一行F NRI Type分析
    •  RTP 负载的 第一个字节 (Byte 1)
    • 聚合包头: 与单个 NAL 单元包类似，聚合包的第一个字节也充当了 聚合包的头部，包含了 F, NRI, Type 字段
    • Type 字段: 关键！ 对于聚合包，Type 字段的值 不再是原始 NAL 单元的类型，而是 聚合包类型 的指示
      • 因此，看到 RTP 负载的第一个字节的 Type 字段值为 24, 25, 26 或 27，就表示这是一个聚合包，而不是单个 NAL 单元包或分片单元包
Table 4.  Type field for STAPs and MTAPs

  Type   Packet    Timestamp offset   DON-related fields
                   field length       (DON, DONB, DOND)
                   (in bits)          present
  --------------------------------------------------------
  24     STAP-A       0                 no
  25     STAP-B       0                 yes
  26     MTAP16      16                 yes
  27     MTAP24      24                 yes

聚合结构分析

单时间聚合包（STAP）
    0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                   :        NAL unit size          |               |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
   |                                                               |
   |                           NAL unit                            |
   |                                                               |
   |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                               :
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

   Figure 6.  Structure for single-time aggregation unit
  •  NAL unit size: 每个聚合单元都以一个 16 位的无符号整数 NAL unit size 开始，同样以 网络字节序 存储。 这个字段指示了 紧随其后的 NAL 单元的大小 (字节数)
  • NAL unit: NAL unit size 字段之后，就是 实际的 NAL 单元数据，包括它的 NAL 单元头 和 NAL 单元数据部分
  • 字节对齐: single-time aggregation unit 在 RTP payload 中是 字节对齐 的，这意味着它的起始位置是字节边界

STAP 的核心思想是聚合。在视频编码和传输中，我们通常会将视频数据分割成更小的单元，称为 NAL 单元 (Network Abstraction Layer Units)。 在某些情况下，可能会有多个 NAL 单元具有相同的 NALU-time (NAL 单元时间戳，可以理解为它们属于同一个时间点的视频帧或切片)。 STAP 的目的就是将这些具有相同 NALU-time 的 NAL 单元 打包 成一个 RTP包进行传输，从而提高传输效率，减少 RTP 包头的开销

存在原因

在视频传输中，每个 RTP 包都有自己的头部信息（RTP Header）。如果每个 NAL 单元都单独封装成一个 RTP 包，那么头部开销就会比较大，尤其是在传输大量小 NAL 单元时。 STAP 通过将多个 NAL 单元聚合到一个 RTP 包中，共享同一个 RTP 包头，从而有效地减少了头部开销，提高了带宽利用率

类型一：STAP-A

 该类型不包含DON，结构也更简单，主要用于解码顺序不重要或者解码顺序可以通过其他机制保证的情况。简单来说就是将多个具有相同的NALU_time的NALU拼接在一起

    0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                   :                                               |
   +-+-+-+-+-+-+-+-+                                               |
   |                                                               |
   |                single-time aggregation units                  |
   |                                                               |
   |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                               :
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

   Figure 4.  Payload format for STAP-A

类型二：STAP-B

其中包含16位DON，结构较为复杂，比较适用于解码顺序很重要的情况，例如需要处理丢包或者乱序到达的情况

    0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                   :  decoding order number (DON)  |               |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
   |                                                               |
   |                single-time aggregation units                  |
   |                                                               |
   |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                               :
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

   Figure 5.  Payload format for STAP-B
  • DON的作用和递增规则
    • DON 字段指定了 STAP-B 中 第一个 NAL 单元的解码顺序号
    • 具体方法：对于 STAP-B 中 后续 的 NAL 单元（按照它们在 STAP-B 中出现的顺序），它们的 DON 值是 前一个 NAL 单元的 DON 值加 1，然后对 65536 取模

STAR-A的RTP包

    0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                          RTP Header                           |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |STAP-A NAL HDR |         NALU 1 Size           | NALU 1 HDR    |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                         NALU 1 Data                           |
   :                                                               :
   +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |               | NALU 2 Size                   | NALU 2 HDR    |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                         NALU 2 Data                           |
   :                                                               :
   |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                               :...OPTIONAL RTP padding        |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

   Figure 7.  An example of an RTP packet including an STAP-A
               containing two single-time aggregation units

STAR-B的RTP包

    0                   1                   2                   3
    0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                          RTP Header                           |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |STAP-B NAL HDR | DON                           | NALU 1 Size   |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   | NALU 1 Size   | NALU 1 HDR    | NALU 1 Data                   |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               +
   :                                                               :
   +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |               | NALU 2 Size                   | NALU 2 HDR    |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                       NALU 2 Data                             |
   :                                                               :
   |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
   |                               :...OPTIONAL RTP padding        |
   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

   Figure 8.  An example of an RTP packet including an STAP-B
               containing two single-time aggregation units
多时间聚合包（MTAP）

与单时间聚合包不同的是其可以将NALU_time不同的NALU聚集到一个RTP包中

     0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
                    :  decoding order number base   |               |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
    |                                                               |
    |                 multi-time aggregation units                  |
    |                                                               |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 9.  NAL unit payload format for MTAPs

    类型一：MTAP16

         0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    :        NAL unit size          |      DOND     |  TS offset    |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |  TS offset    |                                               |
    +-+-+-+-+-+-+-+-+              NAL unit                         |
    |                                                               |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 10.  Multi-time aggregation unit for MTAP16
    • NAL unit size: 16 位无符号整数，网络字节序，表示 紧随其后的 NAL 单元的大小 (不包括 size 字段本身，但包括 NAL 单元类型字节)
    • NOND：参考单时间聚合包中的笔记内容
    • TS offset：16位时间戳偏移量，网络字节序。TS offset 表示当前 NAL 单元的 NALU-time 与 MTAP RTP 包的 RTP timestamp 之间的偏移量
    • Nalu
         0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                          RTP Header                           |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |MTAP16 NAL HDR |  decoding order number base   | NALU 1 Size   |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |  NALU 1 Size  |  NALU 1 DOND  |       NALU 1 TS offset        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |  NALU 1 HDR   |  NALU 1 DATA                                  |
    +-+-+-+-+-+-+-+-+                                               +
    :                                                               :
    +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |               | NALU 2 SIZE                   |  NALU 2 DOND  |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |       NALU 2 TS offset        |  NALU 2 HDR   |  NALU 2 DATA  |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+               |
    :                                                               :
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :...OPTIONAL RTP padding        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 12.  An RTP packet including a multi-time aggregation
                packet of type MTAP16 containing two multi-time
                aggregation units

    类型二：MTAP24

         0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    :        NAL unit size         |      DOND     |  TS offset    |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |         TS offset             |                               |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               |
    |                              NAL unit                         |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 11.  Multi-time aggregation unit for MTAP24
    • NAL unit size: 与 MTAP16 相同，16 位 NAL 单元大小
    • DOND: 与 MTAP16 相同，8 位 DOND
    • TS offset: 24 位 时间戳偏移量，网络字节序
         0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                          RTP Header                           |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |MTAP24 NAL HDR |  decoding order number base   | NALU 1 Size   |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |  NALU 1 Size  |  NALU 1 DOND  |       NALU 1 TS offs          |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |NALU 1 TS offs |  NALU 1 HDR   |  NALU 1 DATA                  |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               +
    :                                                               :
    +               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |               | NALU 2 SIZE                   |  NALU 2 DOND  |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |       NALU 2 TS offset                        |  NALU 2 HDR   |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |  NALU 2 DATA                                                  |
    :                                                               :
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :...OPTIONAL RTP padding        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 13.  An RTP packet including a multi-time aggregation
                packet of type MTAP24 containing two multi-time
                aggregation units

    分片传输

    了解

    当单个Nalu大小超过MTU限制的时候，无法在一个RTP包转给你传输，那么就会对NALU分割成多段进行处理，然后将每个片段封装成RTP包中，从而实现对大型Nalu进行可靠传输

    分片基本规则了解

    • 单个 NAL 单元分片: FU 机制 只用于分片单个 NAL 单元。 聚合包 (STAP, MTAP) 不能被分片
    • 连续的字节片段: 每个分片 (FU payload) 必须包含 原始 NAL 单元的连续字节
    • 完整覆盖: 原始 NAL 单元的 每个字节必须且仅能属于一个分片
    • 顺序传输: 同一 NAL 单元的所有分片必须按照 RTP 序列号升序的顺序连续发送。 在同一个 RTP 流中，在同一 NAL 单元的首个分片和最后一个分片之间，不能发送属于其他 NAL 单元的 RTP 包
    • 顺序重组: 接收端必须 按照 RTP 序列号的顺序重组分片，才能还原出原始的 NAL 单元
    • 禁止嵌套 FU: FU 不能嵌套使用，即一个 FU 的 payload 中不能包含另一个 FU
    • RTP 时间戳: 携带 FU 的 RTP 包的时间戳 (RTP timestamp) 必须设置为被分片的 NAL 单元的 NALU-time

    FU-A

    不包含DON，结构简单

         0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    | FU indicator  |   FU header   |                               |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+                               |
    |                                                               |
    |                         FU payload                            |
    |                                                               |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :...OPTIONAL RTP padding        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 14.  RTP payload format for FU-A

    FU-B

    包含DON，结构较为复杂

         0                   1                   2                   3
     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 0 1
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    | FU indicator  |   FU header   |               DON             |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-|
    |                                                               |
    |                         FU payload                            |
    |                                                               |
    |                               +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
    |                               :...OPTIONAL RTP padding        |
    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

    Figure 15.  RTP payload format for FU-B

    FU的注意事项总结

    • FU 不能用于聚合包 (STAP, MTAP): 只能分片原始的 NAL 单元
    • FU-B 的特殊用途: FU-B 主要用于 interleaved packetization mode 的首个分片
    • 顺序传输和重组是关键: 必须保证分片的顺序性和完整性
    • 丢包影响: 丢失一个分片通常会导致整个分片 NAL 单元的丢失

    gma999
    关注
    RTP H264封包和解包分析
    weixin_50873490的博客
    10-10 1589
    R: 1 bit保留位必须设置为0，接收者必须忽略该位。此处的Type就是NALU头中的Type,取1-23的那个值，表示 NAL单元荷载类型定义，
    如何发送和接收RTP封包的H264，用FFmpeg解码
    热门推荐
    爱写代码的自由人
    01-16 1万+
    这篇文章给大家介绍怎么打包H264分片到RTP包，并且实现一个播放程序演示接收RTP包和用FFmpeg解码。为了让大家更了解H264打包成RTP的细节，有必要罗嗦一下向大家介绍一些相关的基础知识，下面分三节介绍，其中前面两节是基础知识，第三节重点讲解怎么实现RTP包的发送和接收，以及怎么用FFmpeg解码显示。 一、H264的组成结构 H264以NALU（NALunit）为单位来支持编码数据在...
    H264的RTP封包
    qq_15906821的博客
    11-06 536
    H264流结构 H264的ES流的结构分为两层，包括视频编码层(VCL)和网络适配层(NAL)。视频编码层负责视频内容表示，而网络适配层负责对数据进行打包和传送。NAL和VCL分离主要有以下两方面的好处： 1、信号处理和网络传输分层，VCL和NAL可以在不同的处理平台上实现； 2、VCL和NAL分离设计，可以在不同的网络环境内，网关不需要因为网络环境不同而对VCL比特流进行...
    【音视频】RTP封包H265信息
    gma999的博客
    03-05 892
    RTP封包H265的NALU逻辑分析
    RTP载荷h264码流的解包与封包
    orgotF的博客
    05-15 5191
    一、H264介绍 1.1 h264概述 h264是一种视频压缩标准。 经过压缩后的帧分为：I帧，P帧和B帧： I帧：关键帧，采用帧内压缩技术。（自身可以通过视频解压算法解压成一张单独的完整的图片） P帧：向前参考帧，在压缩时，只参考前面已经处理的帧（只需要参考前面的I帧或P帧）。采用帧音压缩技术。 B帧：双向参考帧，在压缩时，它即参考前而的帧，又参考它后面的帧（需要同时参考前面和后面的I帧或P帧）。采用帧间压缩技术。 除了I/P/B帧外，还有图像序列GOP。 GOP：两个I帧之间是一个图像序列
    H264视频流的RTP封包
    发展是曲折的但也是前进的
    01-11 3515
    1.RTP打包原则 RTP的包长度必须要小于MTU(最大传输单元)，IP协议中MTU的最大长度为1500字节。除去IP报头（20字节）、UDP报头（8字节）、RTP头（12字节），所有RTP有效载荷（即NALU内容）的长度不得超过1460字节。 2.RTP协议的报文结构   开始12个八进制出现在每个RTP包中，而CSRC标识列表仅出现在混合
    H.264 RTP封包规则及RTSP抓包分析
    zhichi202的博客
    04-27 2784
    文章目录1.H264中NAL unit Header简介NAL unit HeaderH264 NAL Header解析原始码流的H264 type方式：H.264常用的type类型2.RTP header 简介3.H.264 RTP 载荷封装格式Type的类型说明单个NAL包：Single NAL Unit Packet聚合包：Aggregation Packets单时间聚合包：Single-T...
    H264码流进行RTP包封装
    weixin_44651073的博客
    01-12 2375
    RTP封包流程概要
    java rtp 分片_java、android可用的rtp封包解包h264案例
    weixin_42360733的博客
    01-14 647
    做直播，音视频通讯。经常需要通过rtp协议封装音视频数据来发送。网上找到的基本都是c或c++版本的，没有JAVA版本的。就算千辛万苦找到一篇java版本的，要么不能用，要么就是一些片段，要么有封包没解包。很是蛋疼，本人也是这样，刚开始不太熟悉rtp协议，不太明白怎么封包组包，痛苦了几天，终于搞出来了，分享给有需要的朋友，希望对你们有所帮助。直接看代码吧。不多说了。首先看看关键类：package c...
    分享一段H264视频和AAC音频的RTP封包代码
    07-27
    "H264视频和AAC音频的RTP封包代码分析" 在这篇文章中，我们将深入讨论H264视频和AAC音频的RTP封包代码的实现细节。RTP（Real-time Transport Protocol）是一种实时传输协议，广泛应用于音视频传输领域。H264是一种...
    H264 RTP 封包原理.pdf
    10-15
    【H264 RTP 封包原理】 在多媒体通信领域，H.264是一种高效视频编码标准，而RTP（Real-time Transport Protocol）则是一种用于实时数据传输的网络协议。两者结合，使得H.264编码的视频能够在网络上进行实时、可靠的...
    wireshark从RTP包中提取出H264裸流数据脚本
    10-24
    在本场景中，我们关注的是如何从RTP（Real-time Transport Protocol）数据包中提取出H264和H265这两种常见的视频编码格式的裸流数据。 RTP是一种面向实时传输的应用层协议，常用于VoIP、视频会议和流媒体服务。它...
    碰一碰发视频源码搭建，定制化开发，OEM贴牌
    douqutui的博客
    04-11 853
    在数字化信息快速传播的时代，“碰一碰发视频” 功能凭借其便捷性和趣味性，逐渐成为社交分享、内容传播的新方式。它基于近场通信（NFC）、蓝牙等技术，实现设备间快速视频传输。本文将详细介绍该功能源码搭建的全流程，助力开发者实现这一实用技术。
    双引擎驱动：解密音视频体验的QoS技术底座与QoE感官革命
    世界那么大，我想去看看～
    04-08 1108
    双引擎驱动：解密音视频体验的QoS技术底座与QoE感官革命
    【Audio开发三】音频audio中帧frameSize ，周期大小periodsize，缓冲区buffer原理详解以及代码流程分析
    jiangchaobing_2017的博客
    04-10 888
    因为系统中可能存在多个音轨同时播放，而每个音轨的采样率可能是不一致的，比如在播放音乐的过程中，来了一个提示音，这时需要把音乐和提示音混音并输出到硬件设备，而音乐的采样率和提示音的采样率不一致，问题来了，如果硬件设备工作的采样率设置为音乐的采样率的话，那么提示音就会失真，因此最简单见效的解决方法是：硬件设备工作的采样率固定一个值，所有音轨在 AudioFlinger 都重采样到这个采样率上，混音后输出到硬件设备，保证所有音轨听起来都不失真。无论是框架层还是内核层，都是以帧为单位去管理音频数据缓冲区的。
    训练数据清洗(文本/音频/视频)
    AI大模型/Python/Java/MySQL技术栈，快来和我一起学习吧 ~
    04-09 770
    数据清洗的具体方案需要结合数据集的特点和业务需求进行定制化设计。探索性数据分析（EDA）：全面了解数据的分布、缺失情况、异常值等。明确目标：根据建模目标确定清洗的重点方向。逐步实施：按照上述方案逐一处理问题，同时记录清洗过程以便复现。验证效果：清洗后重新检查数据质量，确保清洗结果符合预期。
    ONVIF/RTSP/RTMP协议EasyCVR视频汇聚平台RTMP协议配置全攻略 | 直播推流实战教程
    最新发布
    EasyGBS的博客
    04-11 173
    无论是安防监控、应急指挥，还是物联网视频融合，掌握RTMP协议的接入和配置方法，都是提升系统性能和效率的关键一步。
    深入解析：使用Python爬取Bilibili视频
    Jaylon Wang的专栏
    04-04 6587
    通过上述脚本，我们可以实现自动化下载Bilibili视频的功能。这不仅大大提升了下载效率，也让我们对Python网络编程有了更深入的理解。请注意，爬虫的使用应遵守网站的爬虫政策和法律法规，合理使用爬虫技术。
    OpenBayes 一周速览｜1分钟生成完整音乐，DiffRhythm人声伴奏一键搞定； Stable Virtual Camera重塑3D视频创作
    OpenBayes的博客
    04-10 964
    302 例罕见病病例数据集* DRfold2 RNA 结构测试数据集* NaturalReasoning 自然推理数据集* VenusMutHub 蛋白质突变小样本数据集* Bird Vs Drone 鸟类与无人机图像分类数据集* CSM 双人对话语音生成 Demo* 一键部署 Qwen2.5-VL-32B-lnstruct* Stable Virtual Camera 图像秒变 3D 视频* 谛韵 DiffRhythm：1 分钟即可生成完整音乐 Demo。
    H264与AAC RTP封包实现代码分享
    对于H264视频的RTP封包，代码中的`h264_parse`函数是关键部分。首先，它检查数据是否为AVC格式（Advanced Video Coding，H264的一种实现方式）。如果数据是AVC格式，它会遍历输入的字节流，解析NAL单元（Network ...
    评论
    添加红包

    请填写红包祝福语或标题

    个

    红包个数最小为10个

    元

    红包金额最低5元

    当前余额3.43元 前往充值 >
    需支付：10.00元
    成就一亿技术人!
    领取后你会自动成为博主和红包主的粉丝 规则
    hope_wisdom
    发出的红包
    实付元
    使用余额支付
    点击重新获取
    扫码支付
    钱包余额 0

    抵扣说明：

    1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
    2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

    余额充值