负载类型为 MPEG-4 Elementary Stream 的 RTP 包的封包讲解

最新推荐文章于 2022-06-11 11:32:24 发布

htjx99

最新推荐文章于 2022-06-11 11:32:24 发布

阅读量1.2k

点赞数

本文介绍MPEG4视频编码在RTP中的传输格式，包括MIME格式、RTP负载格式及其结构，详细解析AU Header、辅助信息区及接入单元数据区，并给出RTP分组封装规则。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1．说明

本文的目的是描述MPEG4 Video ES在RTP中的传输格式，本文的主要内容参考了RFC-3016和RFC-3640，写作本文是为了帮助理解这两篇RFC的内容。如果描述有与这两篇RFC不一致的地方，应该以RFC为准。

2． MIME Format

在RFC-3016和RFC-3640中，建议MPEG4 ES的信息描述遵循MIME的格式，关于MIME格式的详细信息，请参考RFC-2045和RFC-2046。

3． RTP Payload Format

(1) Global Structure
```
+---------+-----------+-----------+---------------+
```
```
         | RTP     | AU Header | Auxiliary | Access Unit   |
```
```
         | Header  | Section   | Section   | Data Section  |
```
```
         +---------+-----------+-----------+---------------+
```
RTP Header 就是RTP协议所定义的RTP信息格式

AU Header Section , Auxiliary Section , Access Unit Data Section 就是 RTP 的Payload

从MPEG4 Encoder输出的每个Packet ，被称为 Access Unit , 简写成 AU , AU Header就是描述 AU信息的标准格式。

Auxiliary Section 是用来描述一些辅助信息的，在RFC中，这个结构没有被定义，可以由用户来自定义这块内容，也可以完全忽略。

Access Unit Data Section 就是MPEG Encoder的输出内容

(2) RTP Header中与MPEG4 Payload相关的部分

Payload Type (PT) 关于RTP Payload的类型应该定义MPEG4类型，这部分应该由RTP协议来定义，于本文无关。

Marker Bit (M) 如果RTP Payload 是完整的1个或多个 AU ,M = 1 ; 如果RTP Payload 是AU的碎片( Fragment ，意指一个AU 被分割成多个 RTP Packet的Payload ) ，只有最后一个碎片的 M = 1, 其他碎片的 M = 0 。

(3) The AU Header Section
```
     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+- .. -+-+-+-+-+-+-+-+-+-+
```
```
      |AU-h-length|AU-header|AU-header|      |AU-header|padding|
```
```
      |           |   (1)   |   (2)   |      |   (n)   | bits  |
```
```
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+- .. -+-+-+-+-+-+-+-+-+-+
```
```
AU-h_length  就是 AU-Header_Length  , specifies the length in bits
```
```
   of the immediately following AU-headers, excluding the padding bits.
```
```
 
```
```
AU Header  ， 每个AU Header 是与 Access Unit( 或者是 AU Fragment) 相对应的。
```
```
Padding Bits 是为了让 AU Header Section的长度(bits) 是 8的整数倍
```
(4) AU Header的格式
```
  +---------------------------------------+
```
```
      |     AU-size                           |
```
```
      +---------------------------------------+
```
```
      |     AU-Index / AU-Index-delta         |
```
```
      +---------------------------------------+
```
```
      |     CTS-flag                          |
```
```
      +---------------------------------------+
```
```
      |     CTS-delta                         |
```
```
      +---------------------------------------+
```
```
      |     DTS-flag                          |
```
```
      +---------------------------------------+
```
```
      |     DTS-delta                         |
```
```
      +---------------------------------------+
```
```
      |     RAP-flag                          |
```
```
      +---------------------------------------+
```
```
     |     Stream-state                      |
```
```
      +---------------------------------------+
```
AU-Size : 就是指与AU Header 对应的那个 Access Unit 的长度 , in octets 。

如果在RTP包中的Payload是AU Fragment， AU-Size 也应该是完整的AU的长度，

不应该是Fragment的长度，在接受段，可以看接受到的AU的长度是不是跟AU Header中定义的AU-Size一致，来判断这个AU是一个完整的单元还是只是碎片。并且可以通过这个字段来判断接受到Access Unit是不是完整。

AU-Index : 就是 Access Unit 或者 AU Fragment的serial number。相邻的两个AU（Fragment），应该是AU-Index[n+1] = AU-Index[n] + 1。

如果一个RTP Packet 中包含多个Access Unit , 那第一个AU Header必须有AU-Index字段，接下来的几个AU-Header则不允许有AU-Index字段，而是用AU-Index-Delta字段来取代。

AU-Index-Delta ： AU-Index-Delta是根据上一个AU-Index的值来计算当前的AU-Index。计算公式为 AU-Index[n+1] = AU-Index[n] + AU-Index-Delta + 1 , 所以通常情况下 , AU-Index-Delta应该是零，如果AU-Index-Delta的值不是零，则说明在RTP Packet封装的时候使用了Interleave模式，关于Interleave模式，我们以后再来解释。

CTS-Flag ： 1 表示接下来的数据是CTS ， 0 表示没有CTS
```
CTS ： the composition time stamp 。
```
```
DTS-Flag : 1 表示接下来的数据是DTS ， 0 表示没有DTS
```
```
DTS:  the decoding time stamp
```
```
 
```
```
RAP-Flag:  1 表示对应的 Access Unit 是一个 Random Access Unit , 也就是所谓的 key-packet 。 
```
```
如果 对应的是 Access Unit Fragment , 那么只有第一个Fragment的RAP-Flag的值是1, 其他Fragment的值应该是 0。
```
```
 
```
```
Stream-state :  表示编码器状态。如果编码器状态改变，这个值+1。
```
```
RFC中没有明确说明这个状态指那些内容， 我估计应该是resolution , fps, bps 等参数的改变吧 。
```
(5) The Auxiliary Section
```
       +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+- .. -+-+-+-+-+-+-+-+-+
```
```
      | auxiliary-data-size   | auxiliary-data       |padding bits |
```
```
      +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+- .. -+-+-+-+-+-+-+-+-+
```
这部分内容没有定义，如果有用户数据，可以考虑把用户数据放入Auxiliary Section。

(6) Access Unit
```
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+- .. -+-+-+-+-+-+-+-+-+
```
```
  | AU(1)  | AU(2)  | AU(3) | … | AU(n)
```
```
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+- .. -+-+-+-+-+-+-+-+-+
```
所以Access Unit 就是 MPEG4 编码器的输出了。

4．关于RTP Packet的封装

RTP Payload允许装载1个或多个完整的Access Unit

也允许装载1个Access Unit Fragment

禁止把完整的Access Unit和 Access Unit Fragment 封装在同一个RTP Packet中。禁止把多个Access Unit Fragment 封装在RTP Packet 中。

通常来说 , RTP Packet的顺序应该跟Access Unit的顺序一致，除非是Interleave模式下。关于 Interleave模式请参看相关的RFC , 这里就不多做阐述了。

Reference
[1] RFC-3016

[2] RFC-3640

[3] ISO/IEC 14496 Part 2

[4] RFC-2045

[5] RFC-2046

[6] RFC-1889

[7] RFC-3550

博客等级

码龄13年

80
原创

47
点赞

165
收藏

58
粉丝

关注

私信

热门文章

分类专栏

最新评论

pjsip对接已编码的流
Byte 小匠: 您好,自定义端口无法成功的发数据出去是通道没有建立好吗?
GBT28181相关博文
Amazing_Pan: 第三个网址进去。。。。额，车轱辘压我脸上了
网络上的视频流直播
WgRui: 有用
ffmpeg群里讨论编译
-啊实打实猛: 老板，群号能给一个吗
rtsp流服务器压力测试
荣-: 你这篇文章对我帮助很大，谢谢。还有一篇文章，也帮助很大：https://blog.51cto.com/zhoushouby/1437374。关于StreamingLoadTool需要对代码做些修改，否则它会要求目标服务器必须有一个streamingloadtool.mov流。处理的方式： vi StreamingLoadTool/StreamingLoadTool.cpp 注视掉574行，然后再Buildit。这一行是调用CheckForStreamingLoadToolDotMov，该函数"Checking for 'streamingloadtool.mov' on the target servers\n" 如果没有，则会退出程序（975行）： if (addrCount == 0) { printf("No valid destinations\n"); exit (-1); }

大家在看

Spring Bean 757

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。