ffmpeg解封装后的帧处理（H.264，AAC）

最新推荐文章于 2025-05-24 09:29:41 发布

原创最新推荐文章于 2025-05-24 09:29:41 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

ffmpeg 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何处理H.264和AAC编码的码流以使其能够正常播放。对于H.264，需要添加NALU起始码并确保每个IDR帧前有SPS和PPS；对于AAC，则需要使用特定的过滤器添加ADTS文件头。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、H.264的处理

1、分离某些封装格式（例如MP4/FLV/MKV等）中的H.264的时候，需要首先写入SPS和PPS，否则会导致分离出来的数据没有SPS、PPS而无法播放。这些信息存储在AVCodecContext的extradata里面。并且需要使用FFMPEG中的名为"h264_mp4toannexb"的bitstream filter 进行处理，然后使用处理后的extradata。

2. 通过查看FFMPEG源代码我们发现，AVPacket中的数据起始处没有分隔符(0x00000001), 也不是0x65、0x67、0x68、0x41等字节，所以可以AVPacket肯定这不是标准的nalu。其实，AVPacket前4个字表示的是 nalu的长度，从第5个字节开始才是nalu的数据。所以直接将AVPacket前4个字节替换为0x00000001即可得到标准的nalu数据。

AVBitStreamFilterContext* h264bsfc = av_bitstream_filter_init("h264_mp4toannexb");

while(av_read_frame(ifmt_ctx, &pkt)>=0)

{

if(pkt.stream_index==videoindex)

{

av_bitstream_filter_filter(h264bsfc, ifmt_ctx->streams[videoindex]->codec, NULL, &pkt.data, &pkt.size, pkt.data, pkt.size, 0);

fwrite(pkt.data,1,pkt.size,fp_video);

//...

}

av_free_packet(&pkt);

}

av_bitstream_filter_close(h264bsfc);

经过上述代码处理之后，AVPacket中的数据有如下变化：

*每个AVPacket的data添加了H.264的NALU的起始码{0,0,0,1}

*每个IDR帧数据前面添加了SPS和PPS

手工处理：

AVCodecContext *pCodecCtx=...  
unsigned char *dummy=NULL;   
int dummy_len;  
AVBitStreamFilterContext* bsfc =  av_bitstream_filter_init("h264_mp4toannexb");    
av_bitstream_filter_filter(bsfc, pCodecCtx, NULL, &dummy, &dummy_len, NULL, 0, 0);  
fwrite(pCodecCtx->extradata,pCodecCtx-->extradata_size,1,fp);  
av_bitstream_filter_close(bsfc);    
free(dummy);

二、AAC的处理

在分离MP4/FLV/MKV等一些格式中的AAC编码的码流的时候，得到的AAC码流是不能播放的。原因是存储AAC数据的AVPacket的data 字段中的数据是不包含7字节ADTS文件头的“无头”的数据，是无法直接解码播放的（当然如果在这些数据前面手工加上7字节的ADTS文件头的话，就可以播放了）。

这时，需要用到名称为“aac_adtstoasc”的bitstream filter。

注意：

mpeg2、mp3无如上问题。

一、H.264的处理

1、分离某些封装格式（例如MP4/FLV/MKV等）中的H.264的时候，需要首先写入SPS和PPS，否则会导致分离出来的数据没有SPS、PPS而无法播放。这些信息存储在AVCodecContext的extradata里面。并且需要使用FFMPEG中的名为"h264_mp4toannexb"的bitstream filter 进行处理，然后使用处理后的extradata。