FFMPEG之bitstream_filter

最新推荐文章于 2025-09-30 17:23:10 发布

原创

最新推荐文章于 2025-09-30 17:23:10 发布 · 1.6k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#ffmpeg

本文详细介绍了H264的两种封装格式AnnexB和avcC，以及它们在SPS和PPS信息处理上的差异。同时，讨论了MP4和MKV等格式中H264的处理方式，并重点解析了FFmpeg中的BitstreamFilter，特别是`av_bitstream_filter_filter`函数的使用，包括如何添加和处理SPS、PPS信息，以及在不同封装格式间的转换过程。

前言

包含00 00 00 01 或 00 00 01分隔符的H264封装称之为AnnexB,00 00 00 01 或 00 00 01代表了H264 NAL单元的开始，同时也表示上一个NAL单元的结束，在AnnexB中，SPS,PPS信息与普通的数据NAL单元一样传输。在另外一种H264的封装格式avcC中，它的SPS，PPS一般被包含在extradata数据段，详见ISO/IEC 14496-15 Advanced Video Coding的AVC decoder configuration record一节。avcC中无NAL单元的起始结束符，但是包含了NAL单元的长度信息。所以，也可以完整分开NAL单元。MP4,MKV封装的H264不包含SPS，PPS，也可能不带有00 00 00 01 或 00 00 01分隔符，解码器解码需要SPS，PPS信息，有的也需要00 00 00 01 或 00 00 01，bitstream_filter的功能就是将这些信息给加上去。通常AVI封装的H264会使用AnnexB。

API详解

/* 头文件中说此函数已经过时，建议调用使用AVBSFContext的 av_bsf_send_packet()和av_bsf_receive_packet() ,
* 在以前老版本的FFMPEG上，函数的返回值大于等于0表示成功，负数表示失败。
* 在4.2.2此函数返回值1表示返回成功;0表示try again或者eof错误，返回0通常是由内存分配失败引起的;返回-1表示失败
* API具有二义性，有可能是目前不推荐使用的原因。
*/
int av_bitstream_filter_filter(AVBitStreamFilterContext *bsfc,
AVCodecContext *avctx, const char *args,
uint8_t **poutbuf, int *poutbuf_size,
const uint8_t *buf, int buf_size, int keyframe)
{
   ……
/*
* 1. priv本身可以在读取文件header，可以判断codec类型时初始化，
如H264可以调用av_bitstream_filter_init("h264_mp4toannexb")
H265可以调用av_bitstream_filter_init("hevc_mp4toannexb")
如今推荐使用av_bsf_get_by_name(), av_bsf_alloc(), and av_bsf_init()来完成初始化。
* 2.如果ctx不存在，则用av_bsf_alloc函数来分配，并且将filter传给ctx，bsf就是bitstream_filter的缩写
* 3.调用av_bsf_init来初始化。
*/
if (!priv->ctx) {
       /*
       * 1. 为AVBSFContext类型为AVCodecParameters结构体的para_in，par_out参数分配内存并且初始化。
       * 2. 为AVBSFContext类型为AVBSFInternal结构体的internal参数分配内存。
       * 3. 为internal参数调用av_packet_alloc()分配buffer_pkt，此时未创建AVBufferRef和AVBuffer。
       * 4. 设置默认参数
       * 5. 为priv_data分配内存并且设置默认参数
       */
ret = av_bsf_alloc(bsfc->filter, &priv->ctx);
       /* 根据AVCodecContext配置para_in */
ret = avcodec_parameters_from_context(priv->ctx->par_in, avctx);
       ……
/*
       * 1. 判断filter是否支持目前的codec。
       * 2. 将para_out的参数初始化成和para_in一样，para_in的extradata也复制到了para_out中。
       * 3. 进入到具体的filter去完成初始化，比如进入ff_h264_mp4toannexb_bsf 这个filter中
       */
ret = av_bsf_init(priv->ctx);
}

   pkt.data = (uint8_t *)buf;
pkt.size = buf_size;
/*
   *1. 让pkt具有引用计数功能,在此之前pkt还不具有引用计数功能，只是将data指向了入参的buf。
   *2. 要求ctx->internal->buffer_pkt->data必须为空并且不存在ctx->internal->buffer_pkt->side_data_elems
   *3. 重新用packet_alloc调用av_buffer_realloc给pkt分配了内存，
   av_buffer_realloc和packet_alloc都没有将原来的buf数据复制到新内存data中。在av_packet_make_refcounted中进行了复制。
   *4. 通过av_packet_move_ref，让ctx->internal->buffer_pkt引用pkt的资源。注意：此时pkt的AVBuffer引用实际上只有一个。
   */
ret = av_bsf_send_packet(priv->ctx, &p