java aac rtp封装_分享一段H264视频和AAC音频的RTP封包代码

最新推荐文章于 2024-10-10 14:38:33 发布
最新推荐文章于 2024-10-10 14:38:33 发布
阅读量314 收藏
点赞数
文章标签： java aac rtp封装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_39776298/article/details/114780917
版权
本文详细介绍了如何使用Java进行H264视频和AAC音频的RTP封包处理。通过分析h264_parse和aac_parse两个静态方法，展示了如何处理不同大小的NAL单元并进行FU-A分片，以及AAC数据的封装过程，为理解RTP封包提供参考。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. H264视频的RTP封包

static int h264_parse(Track *tr, uint8_t *data, size_t len)

{

h264_priv *priv = tr->private_data;

//    double nal_time; // see page 9 and 7.4.1.2

size_t nalsize = 0, index = 0;

uint8_t *p, *q;

if (priv->is_avc) {

while (1) {

unsigned int i;

if(index >= len) break;

//get the nal size

nalsize = 0;

for(i = 0; i < priv->nal_length_size; i++)

nalsize = (nalsize << 8) | data[index++];

if(nalsize <= 1 || nalsize > len) {

if(nalsize == 1) {

index++;

continue;

} else {

fnc_log(FNC_LOG_VERBOSE, "[h264] AVC: nal size %d", nalsize);

break;

}

}

if (DEFAULT_MTU >= nalsize) {

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

data + index, nalsize);

fnc_log(FNC_LOG_VERBOSE, "[h264] single NAL");

} else {

// single NAL, to be fragmented, FU-A;

frag_fu_a(data + index, nalsize, DEFAULT_MTU, tr);

}

index += nalsize;

}

} else {

//seek to the first startcode

for (p = data; p

if (p[0] == 0 && p[1] == 0 && p[2] == 1) {

break;

}

}

if (p >= data + len) return ERR_PARSE;

while (1) {

//seek to the next startcode [0 0 1]

for (q = p; q

if (q[0] == 0 && q[1] == 0 && q[2] == 1) {

break;

}

}

if (q >= data + len) break;

if (DEFAULT_MTU >= q - p) {

fnc_log(FNC_LOG_VERBOSE, "[h264] Sending NAL %d",p[0]&0x1f);

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

p, q - p);

fnc_log(FNC_LOG_VERBOSE, "[h264] single NAL");

} else {

//FU-A

fnc_log(FNC_LOG_VERBOSE, "[h264] frags");

frag_fu_a(p, q - p, DEFAULT_MTU, tr);

}

p = q;

}

// last NAL

fnc_log(FNC_LOG_VERBOSE, "[h264] last NAL %d",p[0]&0x1f);

if (DEFAULT_MTU >= len - (p - data)) {

fnc_log(FNC_LOG_VERBOSE, "[h264] no frags");

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

p, len - (p - data));

} else {

//FU-A

fnc_log(FNC_LOG_VERBOSE, "[h264] frags");

frag_fu_a(p, len - (p - data), DEFAULT_MTU, tr);

}

}

fnc_log(FNC_LOG_VERBOSE, "[h264] Frame completed");

return ERR_NOERROR;

}

static int h264_parse(Track *tr, uint8_t *data, size_t len)

{

h264_priv *priv = tr->private_data;

//    double nal_time; // see page 9 and 7.4.1.2

size_t nalsize = 0, index = 0;

uint8_t *p, *q;

if (priv->is_avc) {

while (1) {

unsigned int i;

if(index >= len) break;

//get the nal size

nalsize = 0;

for(i = 0; i nal_length_size; i++)

nalsize = (nalsize <

if(nalsize <= 1 || nalsize > len) {

if(nalsize == 1) {

index++;

continue;

} else {

fnc_log(FNC_LOG_VERBOSE, "[h264] AVC: nal size %d", nalsize);

break;

}

}

if (DEFAULT_MTU >= nalsize) {

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

data + index, nalsize);

fnc_log(FNC_LOG_VERBOSE, "[h264] single NAL");

} else {

// single NAL, to be fragmented, FU-A;

frag_fu_a(data + index, nalsize, DEFAULT_MTU, tr);

}

index += nalsize;

}

} else {

//seek to the first startcode

for (p = data; p

if (p[0] == 0 && p[1] == 0 && p[2] == 1) {

break;

}

}

if (p >= data + len) return ERR_PARSE;

while (1) {

//seek to the next startcode [0 0 1]

for (q = p; q

if (q[0] == 0 && q[1] == 0 && q[2] == 1) {

break;

}

}

if (q >= data + len) break;

if (DEFAULT_MTU >= q - p) {

fnc_log(FNC_LOG_VERBOSE, "[h264] Sending NAL %d",p[0]&0x1f);

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

p, q - p);

fnc_log(FNC_LOG_VERBOSE, "[h264] single NAL");

} else {

//FU-A

fnc_log(FNC_LOG_VERBOSE, "[h264] frags");

frag_fu_a(p, q - p, DEFAULT_MTU, tr);

}

p = q;

}

// last NAL

fnc_log(FNC_LOG_VERBOSE, "[h264] last NAL %d",p[0]&0x1f);

if (DEFAULT_MTU >= len - (p - data)) {

fnc_log(FNC_LOG_VERBOSE, "[h264] no frags");

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

p, len - (p - data));

} else {

//FU-A

fnc_log(FNC_LOG_VERBOSE, "[h264] frags");

frag_fu_a(p, len - (p - data), DEFAULT_MTU, tr);

}

}

fnc_log(FNC_LOG_VERBOSE, "[h264] Frame completed");

return ERR_NOERROR;

}

2. AAC的RTP封包

static int aac_parse(Track *tr, uint8_t *data, size_t len)

{

//XXX handle the last packet on EOF

int off = 0;

uint32_t payload = DEFAULT_MTU - AU_HEADER_SIZE;

uint8_t *packet = g_malloc0(DEFAULT_MTU);

if(!packet) return ERR_ALLOC;

// trim away extradata

//    data += AAC_EXTRA;

//    len -= AAC_EXTRA;

packet[0] = 0x00;

packet[1] = 0x10;

packet[2] = (len & 0x1fe0) >> 5;

packet[3] = (len & 0x1f) << 3;

if (len > payload) {

while (len > payload) {

memcpy(packet + AU_HEADER_SIZE, data + off, payload);

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

0,

packet, DEFAULT_MTU);

len -= payload;

off += payload;

}

}

memcpy(packet + AU_HEADER_SIZE, data + off, len);

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

packet, len + AU_HEADER_SIZE);

g_free(packet);

return ERR_NOERROR;

}

static int aac_parse(Track *tr, uint8_t *data, size_t len)

{

//XXX handle the last packet on EOF

int off = 0;

uint32_t payload = DEFAULT_MTU - AU_HEADER_SIZE;

uint8_t *packet = g_malloc0(DEFAULT_MTU);

if(!packet) return ERR_ALLOC;

// trim away extradata

//    data += AAC_EXTRA;

//    len -= AAC_EXTRA;

packet[0] = 0x00;

packet[1] = 0x10;

packet[2] = (len & 0x1fe0) >> 5;

packet[3] = (len & 0x1f) <

if (len > payload) {

while (len > payload) {

memcpy(packet + AU_HEADER_SIZE, data + off, payload);

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

0,

packet, DEFAULT_MTU);

len -= payload;

off += payload;

}

}

memcpy(packet + AU_HEADER_SIZE, data + off, len);

mparser_buffer_write(tr,

tr->properties.pts,

tr->properties.dts,

tr->properties.frame_duration,

1,

packet, len + AU_HEADER_SIZE);

g_free(packet);

return ERR_NOERROR;

}

上面的变量 AU_HEADER_SIZE=4

/* au header

+---------------------------------------+

|     AU-size                           |

+---------------------------------------+

|     AU-Index / AU-Index-delta         |

+---------------------------------------+

|     CTS-flag                          |

+---------------------------------------+

|     CTS-delta                         |

+---------------------------------------+

|     DTS-flag                          |

+---------------------------------------+

|     DTS-delta                         |

+---------------------------------------+

|     RAP-flag                          |

+---------------------------------------+

|     Stream-state                      |

+---------------------------------------+

*/

RTP协议封装音视频媒体数据详解
北雨南萍
02-16 741
RTP协议对媒体数据(包括音频和视频)的封装是由指定的的协议文档规定。 1. RTP封装H.264视频编码数据 1.1 H.264 基本流的结构 H.264 的基本流（elementary stream,ES）的结构分为两层，包括视频编码层（VCL）和 网络适配层（NAL）。 视频编码层负责高效的视频内容表示， 而网络适配层负责以网络所要 求的恰当的方式对数据进行打包和传送。 引入 NAL 并使之与 VCL 分离带来的好处包括两方面： 其一、使信号处理和网络传输分离，VCL 和 N..
RTP协议解析和H264码流提取
热门推荐
DaveBobo的博客
11-01 2万+
一、 h264基础概念SODB:　数据比特串－－＞最原始的编码数据RBSP:　原始字节序列载荷－－＞在SODB的后面填加了结尾比特（RBSP trailing bits　一个bit“1”）若干比特“0”,以便字节对齐。EBSP:　扩展字节序列载荷– >在RBSP基础上填加了仿校验字节（0X03）它的原因是：　在NALU加到Annexb上时，需要填加每组NALU之前的开始码 StartCodePre
java实现RTP的h264分包发送
jialiang的博客
04-08 9679
RTP java h264 FU-A 分包
java aac rtp封装,aac over rtp live555 打包
weixin_36244383的博客
03-19 188
void MPEG4GenericRTPSink::doSpecialFrameHandling(unsigned fragmentationOffset,unsigned char* frameStart,unsigned numBytesInFrame,struct timeval framePresentationTime,unsigned numRemainingBytes) {// Se...
java aac rtp封装,RTP AAC数据包解包器
weixin_30744857的博客
02-27 204
I asked earlier about H264 at RTP H.264 Packet DepacketizerMy question now is about the audio packets.I noticed via the RTP packets that audio frames like AAC, G.711, G.726 and others all have the Mar...
java h264 rtp_RTP数据包中取h264的问题
weixin_42160376的博客
02-24 338
由于数据是第三方接口提供，得到的数据是RTP数据，需要自己分离出H264数据，于是我采用以下代码进行分离，但分离出来的数据无法用ffmpeg解码，不知道是不是分离的代码有问题，请弄过的人帮我解答一下。class RTPUnPacker{public:RTPUnPacker();~RTPUnPacker();bool unpack_rtp_h264(const uint8_t * data, uin...
java获取摄像头h.264视频流_rtmp视频流提取h264裸流
weixin_42531494的博客
02-17 1946
流媒体服务器在判断出消息类型为video之后，进行h264参数集和nalu的提取，并加入分隔符，代码如下文中用读取文件的方式代替rtmp msg里面的payloadrtmp视频消息示例：image.png。。。。image.png#include #include FILE *f264 = NULL;uint16_t ReadU16BE(uint8_t data[2]) {uint16_t v =...
5 RTP之AAC封包和解包1
08-04
在RTP封装AAC的过程中，主要涉及以下几个步骤： 1. **移除ADTS头**：AAC原始数据通常包含ADTS（Audio Data Transport Stream）头，它包含了一些元数据，如采样率、通道数等。为了将AAC数据放入RTP包，需要去除前7个...
RTP H264封包和解包分析
最新发布
weixin_50873490的博客
10-10 1658
R: 1 bit保留位必须设置为0，接收者必须忽略该位。此处的Type就是NALU头中的Type,取1-23的那个值，表示 NAL单元荷载类型定义，
H264与AAC RTP封包实现代码分享
"分享了一段关于H264视频和AAC音频如何进行RTP封装的代码片段，适用于视频传输和流媒体应用。" 在多媒体通信和流媒体领域，RTP（Real-time Transport Protocol）是一种广泛使用的协议，用于传输实时数据，如音频和...
RTP封装&h264原理&实现传输h264的RTSP服务器
control_0317的博客
05-29 1684
实现：客户端建立与RTSP服务端的连接后，并且在RTSP服务端回复了客户端的Play请求以后，服务端需要源源不断的读取一个本地h264视频文件，并将读取到的h264视频流封装到RTP数据包中，再推送至客户端。这样我们就实现了一个简单的支持RTSP协议流媒体分发服务。
h264 rtp打包 java版本
07-12
从文件中读取h264打包成rtp发送，用java编写 未提供h264文件..
RTP java 实现
04-25
RTP 的 java实现 发送端，Sender.java，需要使用JMF框架
java rtp 接受发送声音
01-15
java rtp 接受发送声音
java实现的rtp协议栈
01-28
使用java实现的rtp协议栈，网上下载的是源码，我编译后打包，方便大家开发使用！
RTP打包AAC数据流
weixin_43138570的博客
06-04 445
复制别人的article_content过来之后格式容易错乱，直接上链接，测试可以使用 原文链接：https://blog.youkuaiyun.com/weixin_42462202/article/details/99200935 稍加修改可以传输AAC实时流
分享一段H264视频和AAC音频的RTP封包代码
倔强的晓奇
04-03 6218
1. H264视频的RTP封包 [c-sharp] view plaincopyprint? static int h264_parse(Track *tr, uint8_t *data, size_t len)  {      h264_priv *priv = tr->private_data;  //    double nal_time; // see pag
UDP一个数据包最大能有多大
yp18792574062的博客
10-06 7294
1、局域网 链路层中每一帧数据头部18字节，数据区域：46 - 1500字节 ip数据包：头部：20-60字节，按20字节来算剩下1480字节 udp：包头：8字节，数据区域1480 - 8 = 1472字节 所以作答为1472字节 大于1472会怎么样？ 一个包会分为多个片发送，如果一个片丢了那么就需要重新发送整个包，非常浪费 2、公网 unix网络编程里面说了，ipv4规定ip...
java rtp 分片_java實現RTP的h264分包發送
weixin_34755543的博客
02-24 196
private void sendData(byte[] r, int h264len)throws IOException {memset(sendbuf, 0, 1500);sendbuf[1] = (byte) (sendbuf[1] | 96); // 負載類型號96,其值為：01100000sendbuf[0] = (byte) (sendbuf[0] | 0x80); // 版本號,此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值