X264编码流程详解(转)

http://blog.youkuaiyun.com/xingyu19871124/article/details/7671634

对H.264编码标准一直停留在理解原理的基础上,对于一个实际投入使用的编码器是如何构建起来一直感觉很神秘,于是决定在理解理论的基础上潜心于编码器实现框架。关于开源的H264编码器有很多,JMVC,T264、X264,这里选择X264,因为网上关于X264源码分析资源很多。X264编码器是一个开源的经过优化的高性能H.264编码器,目前最新的源码在本人的I5处理器的PC机上,编码1920x1080分辨率的视频序列在使用ultrafast配置的情况下,可以实现160fps左右的编码速度。

这里对源码分析并没有选择最新的源码,而是选用2009年2月份的版本,原因有二:一是这个版本是从网上下载下来的,已经是一个建立好的VS2008工程,对于像我这种用惯IDE调试的程序员来说,这可以大大提高源码阅读速度;二是虽然X264源码虽然几乎每天都有更新,但是从这个版本以后,最大的改动基本是针对多Slice编码的支持,其他都是在输入输出方面的一些改动,从这个版本学习可以较快进入编码部分的学习;三是这个版本当中已经有别人的很多的注释,便于自己理解;

一般将编码分为帧级、片级、宏块级编码,依次从上到下。下面就从这三个级分析X264编码流程:

一、帧级编码分析

 

定位到x264_encoder_encode这个函数,这个函数应该是H264编码最上层的函数,实现编码一帧视频。在进行下一步分析之前有必要了解,控制X264编码的全局性结构体x264_t,这个结构体控制着视频一帧一帧的编码,包括中间参考帧管理、码率控制、全局参数等一些重要参数和结构体。 下面是x264_t这个结构体的定义(这里仅对几个关键的结构和变量进行分析):

 

struct x264_t
{
    x264_param_t    param;//编码器编码参数,包括量化步长、编码级别等等一些参数

...........
    int             i_frame;//编码帧号,用于计算POC(picture of count 标识视频帧的解码顺序)
...........
    int             i_nal_type;     /* Nal 单元的类型,可以查看编码标准,有哪几种类型,需要理解的类型有:不分区(一帧作为一个片)非IDR图像的片;片分区A、片分区B、片分区C、IDR图像中的片、序列参数集、图像参数集 */

    int             i_nal_ref_idc;  /* Nal 单元的优先级别<span style="background-color: rgb(255, 255, 255);">取值范围[0,1,2,3],值越大表示优先级越高,此Nal单元就越重要</span>*/

    /* We use only one SPS(序列参数集) and one PPS(图像参数集) */
    x264_sps_t      sps_array[1];//结构体的数组
    x264_sps_t      *sps;
    x264_pps_t      pps_array[1];
    x264_pps_t      *pps;
    int             i_idr_pic_id;

......

    struct
    {
//这个结构体涉及到X264编码过程中的帧管理,理解这个结构体中的变量在编码标准的理论意义是非常重要的
        x264_frame_t *current[X264_BFRAME_MAX*4+3];/*已确定帧类型,待编码帧,每一个GOP在编码前,每一帧的类型在编码前已经确定。当进行编码时,从这里取出一帧数据。*/
        x264_frame_t *next[X264_BFRAME_MAX*4+3];//尚未确定帧类型的待编码帧,当确定后,会将此数组中的帧转移到current数组中去。
        x264_frame_t *unused[X264_BFRAME_MAX*4 + X264_THREAD_MAX*2 + 16+4];/*这个数组用于回收那些在编码中分配的frame空间,当有新的需要时,直接拿过来用,不用重新分配新的空间,提高效率*/
        /* For adaptive B decision */
        x264_frame_t *last_nonb;

        /* frames used for reference + sentinels */
        x264_frame_t *reference[16+2];//参考帧队列,注意参考帧都是重建帧

        int i_last_idr; /* 上一次刷新关键帧的帧号,配合前面的i_frame,可以用来计算POC */

        int i_input;    /* Number of input frames already accepted *///frames结构体中i_input指示当前输入的帧的(播放顺序)序号。

        int i_max_dpb;  /* 分配解码图像缓冲的最大数量(DPB) */
        int i_max_ref0;//最大前向参考帧数量
        int i_max_ref1;//最大后向参考帧数量
        int i_delay;    /* Number of frames buffered for B reordering */
        //i_delay设置为由B帧个数(线程个数)确定的帧缓冲延迟,在多线程情况下为i_delay = i_bframe + i_threads - 1。
        //而判断B帧缓冲填充是否足够则通过条件判断:h->frames.i_input <= h->frames.i_delay + 1 - h->param.i_threads。
        int b_have_lowres;  /* Whether 1/2 resolution luma planes are being used */
        int b_have_sub8x8_esa;
    } frames;//指示和控制帧编码过程的结构

    /* current frame being encoded */
    x264_frame_t    *fenc;//指向当前编码帧

    /* frame being reconstructed */
    x264_frame_t    *fdec;//指向当前重建帧,重建帧的帧号要比当前编码帧的帧号小1

    /* references lists */
    int             i_ref0;//前向参考帧的数量
    x264_frame_t    *fref0[16+3];     /* 存放前向参考帧的数组(注意参考帧均是重建帧) */
    int             i_ref1;//后向参考帧的数量
    x264_frame_t    *fref1[16+3];     /* 存放后向参考帧的数组*/
    int             b_ref_reorder[2];
........
};

 

定位到x264_encoder_encode这个函数,这个函数应该是H264编码最上层的函数,实现编码的帧级处理(如何进行参考帧管理、帧类型确定等等)。
 下面对x264_encoder_encode中几个关键函数以及关键部分进行分析:
1、x264_reference_update这个函数主要完成参考帧的更新,H.264的帧间预测需要使用参考帧,参考帧使用的都是已编码后的重建帧,每编码一帧的同时会重建此帧作为参考帧,在编码下一帧时,将此重建帧加入到参考帧队列中。函数实现如下:

 

static inline void x264_reference_update( x264_t *h )
{
    int i;

    if( h->fdec->i_frame >= 0 )//重建帧帧数大于等于零时
        h->i_frame++;//当前编码帧的帧号要比重建帧的帧号大1

    if( !h->fdec->b_kept_as_ref )/*如果重建帧不作为参考帧(不作为参考帧,当然不用加入参考帧队列了)*/
    {//when b frame is not used as reference frame
        if( h->param.i_threads > 1 )
        {
            x264_frame_push_unused( h, h->fdec );
            h->fdec = x264_frame_pop_unused( h );
        }
        return;//if b-frame is not used as reference, return 
    }

    /* move lowres(低分辨率) copy of the image to the ref frame */
    for( i = 0; i < 4; i++)
    {/*暂时还不知道干嘛的*/
        XCHG( uint8_t*, h->fdec->lowres[i], h->fenc->lowres[i] );
        XCHG( uint8_t*, h->fdec->buffer_lowres[i], h->fenc->buffer_lowres[i] );
    }

    /* adaptive B decision needs a pointer, since it can't use the ref lists */
    if( h->sh.i_type != SLICE_TYPE_B )
        h->frames.last_nonb = h->fdec;

    /* move frame in the buffer */
    x264_frame_push( h->frames.reference, h->fdec );/*把重建帧放入参考队列中*/
    if( h->frames.reference[h->frames.i_max_dpb] )/*如果参考帧的个数大于解码图像缓存的最大数(decoded picture buffer(DPB))*/
        x264_frame_push_unused( h, x264_frame_shift( h->frames.reference ) );/*取出参考队列中第一个参考重建帧,并放入暂时不用帧队列中*/
    h->fdec = x264_frame_pop_unused( h );/*从暂时不用帧队列中,取出一帧作为新的重建帧buf*/
}

 

2、帧排序部分,在H.264标准中采用编码顺序与显示顺序不同的编码方式,对于一个已经确定帧类型的待编码序列:IBBPBBP在编码时需要先排序为IPBBPBB,然后进行编码。在X264代码中,实现在如下部分:

        //确定帧的类型
        x264_stack_align( x264_slicetype_decide, h );/*通过x264_slicetype_decide函数来确定决定h-frames.next[]中每一帧的类型*/

        /* 3: move some B-frames and 1 non-B to encode queue 这里来完成帧排序,还是有点巧妙的*/
        while( IS_X264_TYPE_B( h->frames.next[bframes]->i_type ) )
            bframes++;/*注意这个循环查找的作用,一方面可以确定第一个非B帧之前B帧的数量,也可以定位出第一个非B帧的位置*/
        x264_frame_push( h->frames.current, x264_frame_shift( &h->frames.next[bframes] ) );/*取出第一个非B帧,并放到current指针第一个位置:通过这两步完成帧排序的(例如BBP->PBB)*/
        /* FIXME: when max B-frames > 3, BREF may no longer be centered after GOP closing */
        if( h->param.b_bframe_pyramid && bframes > 1 )
        {
            x264_frame_t *mid = x264_frame_shift( &h->frames.next[bframes/2] );
            mid->i_type = X264_TYPE_BREF;
            x264_frame_push( h->frames.current, mid );
            bframes--;
        }
        while( bframes-- )
            x264_frame_push( h->frames.current, x264_frame_shift( h->frames.next ) ); /*然后依次取出B帧,并放到current队列中*/

下面就可以从h->frames.current队列中取出第一帧放入h->fenc中

h->fenc = x264_frame_shift( h->frames.current );//从当前编码帧中取出第一帧,作为当前编码帧

然后就开始编码,首先当前编码帧(h->fenc)的类型,设定slice类型,这里就不解释了,关于IDR帧,执行了x264_reference_reset这个函数将参考帧队列清空。
接着进行相关参数的赋值,这里主要对POC的计算强调一下:

h->fenc->i_poc = 2 * (h->fenc->i_frame - h->frames.i_last_idr);//考虑到场编码,POC每帧增长为2,如果是场编码POC增长为1

3、重建参考帧列表(x264_reference_build_list),即将参考帧列表中的参考帧分为前向参考帧和后向参考帧,并根据POC进行参考帧排序。函数具体实现如下:

static inline void x264_reference_build_list( x264_t *h, int i_poc )
{
    int i;
    int b_ok;

    /* build ref list 0/1 */
    h->i_ref0 = 0;//前向参考帧索引
    h->i_ref1 = 0;//后向参考帧索引
    for( i = 0; h->frames.reference[i]; i++ )
    {//注意这里都是指针操作
        if( h->frames.reference[i]->i_poc < i_poc )
        {//小于当前帧POC的,放到前向参考帧列表中
            h->fref0[h->i_ref0++] = h->frames.reference[i];
        }
        else if( h->frames.reference[i]->i_poc > i_poc )
        {//大于当前帧POC的,放到后向参考帧列表中
            h->fref1[h->i_ref1++] = h->frames.reference[i];
        }
    }

    /* Order ref0 from higher to lower poc */
    do
    {/*采用冒泡排序(不知道使用dowhile+for循环与双重for循环有什么优势),对参考帧按照POC从高到低进行排序*/
        b_ok = 1;
        for( i = 0; i < h->i_ref0 - 1; i++ )
        {
            if( h->fref0[i]->i_poc < h->fref0[i+1]->i_poc )
            {
                XCHG( x264_frame_t*, h->fref0[i], h->fref0[i+1] );
                b_ok = 0;
                break;
            }
        }
    } while( !b_ok );
    /* Order ref1 from lower to higher poc (bubble sort) for B-frame */
    do
    {
        b_ok = 1;
        for( i = 0; i < h->i_ref1 - 1; i++ )
        {
            if( h->fref1[i]->i_poc > h->fref1[i+1]->i_poc )
            {
                XCHG( x264_frame_t*, h->fref1[i], h->fref1[i+1] );
                b_ok = 0;
                break;
            }
        }
    } while( !b_ok );

    /* In the standard, a P-frame's ref list is sorted by frame_num.
     * We use POC, but check whether explicit reordering is needed */
    h->b_ref_reorder[0] =
    h->b_ref_reorder[1] = 0;
    if( h->sh.i_type == SLICE_TYPE_P )
    {
        for( i = 0; i < h->i_ref0 - 1; i++ )
            if( h->fref0[i]->i_frame_num < h->fref0[i+1]->i_frame_num )
            {
                h->b_ref_reorder[0] = 1;
                break;
            }
    }

    h->i_ref1 = X264_MIN( h->i_ref1, h->frames.i_max_ref1 );
    h->i_ref0 = X264_MIN( h->i_ref0, h->frames.i_max_ref0 );
    h->i_ref0 = X264_MIN( h->i_ref0, h->param.i_frame_reference ); // if reconfig() has lowered the limit
    assert( h->i_ref0 + h->i_ref1 <= 16 );
    h->mb.pic.i_fref[0] = h->i_ref0;//为什么参考帧选择这两个,还没有搞懂
    h->mb.pic.i_fref[1] = h->i_ref1;
}

4、初始化比特流,写入SPS以及PPS信息后就开始进行片级编码。

    if( i_nal_type == NAL_SLICE_IDR && h->param.b_repeat_headers )
    {/*SPS和PPS是解码需要用到的信息,因此只有解码器解析了SPS和PPS信息
     才能进行解码,这就是为什么在每个IDR帧前写入这些信息*/
        if( h->fenc->i_frame == 0 )
        {//仅仅在第一针写入sei信息
            /* identify ourself */
    <span style="white-space: pre;">    </span>x264_nal_start( h, NAL_SEI, NAL_PRIORITY_DISPOSABLE );/*开始整理nal。*/
            x264_sei_version_write( h, &h->out.bs );//写sei信息
            x264_nal_end( h );
        }

        /* generate sequence parameters */
        x264_nal_start( h, NAL_SPS, NAL_PRIORITY_HIGHEST );/*开始整理nal。一个nal单元的首地址被赋值,
<span style="white-space: pre;">            </span>将要处理此新的nal单元;设置nal的优先权和类型。*/
        x264_sps_write( &h->out.bs, h->sps );/*写SPS信息。
            将序列参数集sps写进位流结构中h->out.bs
            不是每次都要写SPS and PPS,只有碰见立即刷新片(NAL_SLICE_IDR)时才写*/
        x264_nal_end( h );/*结束nal,整理nal
            (1)输出新nal单元的地址
            (2)自增表示下一个新nal单元的序号*/

        /* generate picture parameters */
        x264_nal_start( h, NAL_PPS, NAL_PRIORITY_HIGHEST );/*开始整理nal。
                一个nal单元的首地址被赋值,将要处理此新的nal单元;设置nal的优先权和类型。*/
        x264_pps_write( &h->out.bs, h->pps );/*写PPS信息。
            将序列参数集sps写进位流结构中h->out.bs
            不是每次都要写SPS and PPS,只有碰见立即刷新片(NAL_SLICE_IDR)时才写*/
        x264_nal_end( h );/*结束nal,整理nal
            (1)输出新nal单元的地址
            (2)自增表示下一个新nal单元的序号*/
    }

接着就开始片级编码x264_slices_write( h );

二、片级编码分析

.......................

 

 

FFmpeg 之X264视频编码与FAAC音频编码(四) (1)初始化并设定x264_param_t(2)初始化并设定 x264_picture_t(3)x264编码二、音频编解码·实战篇WAV转至AAC(AAC编码)这里利用FAAC来实现AAC编码。另外,WAV的数据段是PCM,代码会出现很多PCM缩写。1 下载安装 FAAC这里的安装过程是在 Mac 和 Linux 上实现的,Windows可以类似参考。make如果才用默认的 configure 中的 prefix path,那么安装后的 lib 和 .h 文件分别在。 阅读详情

相关推荐

FFmpeg 之X264视频编码与FAAC音频编码(四)(1)

最后为了帮助大家深刻理解Android相关知识点的原理以及面试相关知识,这里放上相关的我搜集整理的Android开发中高级必知必会核心笔记,共计2968页PDF、58w字,囊括Android开发648个知识点,我把技术点整理成了视频和PDF(实际上比预期多花了不少精力),包知识脉络 + 诸多细节。网上学习 Android的资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。希望这份系统化的技术体系对大家有一个方向参考。

2401_84132298的博客 406

【x264】x264编码器参数配置

文章汇总了x264编码器参数配置,包括默认配置、不同档位配置以及优化策略配置

weixin_42877471的博客 2150

FFmpeg-之X264视频编码与FAAC音频编码(四),2021最新百度、头条等公司Android社招面试题目

初始化编码器: enc = x264_encoder_open(&params); 获取整个流的pps 《Android学习笔记总结+最新移动架构视频+大厂安卓面试真题+项目实战源码讲义》 浏览器打开:qq.cn.hn/FTe 开源分享 和SPS: int s = x264_encoder_headers(enc, &nals, &nal_count); x264编码: 初始化图片信息: x264_picture_t picin, picout; x264_picture_ini

m0_64319298的博客 306

x264编码h264

x264开源编码库的介绍

u010140427的博客 1761

X264编码流程详解

对H.264编码标准一直停留在理解原理的基础上,对于一个实际投入使用的编码器是如何构建起来一直感觉很神秘,于是决定在理解理论的基础上潜心于编码器实现框架。关于开源的H264编码器有很多,JMVC,T264、X264,这里选择X264,因为网上关于X264源码分析资源很多。X264编码器是一个开源的经过优化的高性能H.264编码器,目前最新的源码在本人的I5处理器的PC机上,编码1920x1080分

清闲老窝的专栏 2万+

X264编码h264

本文所有内容均为原创,转载请注明出处! 前言 前段时间一直在搞视频编解码与传输的东西,现在基本上整个系统能够实现服务器实时编码打包传输给客户端,客户端实时解码并显示的功能,故将上一阶段的工作整理记录一下,将我使用x264进行h.264编码的过程,使用jrtplib进行h264数据包传输的过程以及使用ffmpeg进行解码的过程都记录下来,一方面是自己做一个总结,另外一方面也是想帮助那些跟我做

一个健忘症患者的记忆备份 1万+

libx264编码过程中修改码率踩坑记录

问题来源于项目中的一个需求,根据当前网络环境实时调整libx264的码率参数,从而让视频播放更加流畅。 1、设置码率调整算法为ABR。 2、初始化,并提供一个接口供探测网络环境的线程调用。写法大概类似于以下: bool reconfigure_bitrate(uint32_t bitrate) { param_t->rc.i_bitrate = bitrate; x264_encoder_reconfig(); return true; } 3、写完

xpu_zhouxin的博客 862

x264编码参数详细介绍:cpu与Video properties

x264编码参数详细介绍:cpu与Video properties

世界那么大,我想去看看~【随心更新,看世界去了😄】 869

(转)x264 编码流程

转自:http://alphamailpost.blog.163.com/blog/static/20111808120128111160728/ http://www.usr.cc/thread-52674-1-1.htmlMain函数中包含三个函数:Init,Encode,Fini,分别用来初始化,编码和编码后内存处理。 Init: I(1)X264_param_default...

dianchixian5277的博客 169

x264编码参数动态调整

x264动态参数调整

世界那么大,我想去看看~【随心更新,看世界去了😄】 747

X264实时对USB摄像头编码(H264)

摄像头是USB摄像头,开发环境是VS2013+opencv3.0,采集出的数据实时编码为H264

FFmpeg 之X264视频编码与FAAC音频编码(四)(2)

分享一份NDK基础开发资料分享内容包括不限于高级UI、性能优化、架构师课程、NDK、混合式开发(ReactNative+Weex)微信小程序、Flutter等全方面的Android进阶实践技术;希望能帮助到大家,也节省大家在网上搜索资料的时间来学习,也可以分享动态给身边好友一起学习!《互联网大厂面试真题解析、进阶开发核心学习笔记、全套讲解视频、实战项目源码讲义》点击传送门即可获取!如果你觉得这些内容对你有帮助,可以扫码获取!!(备注:Android)分享一份NDK基础开发资料。

m0_74931244的博客 708

静止无功补偿SVG的基本控制原理

上图是自励单变量控制框图,基本控制方式为,采集计算得到负载无功电流和SVG输出的无功电流的差值,经过PI调节作为功率角δ和固定的调制深度λ和调制波,经过PWM调制形成开关信号驱动SVG的功率电路。该控制方式使保持调制深度λ(即SVG电压的幅度)不变,通过调整δ来调整直流电压和无功,跟踪输出无功功率,直流电压就会大幅度随动,无功相应速度较慢。SVG通常有他励方式和自励方式,他励方式需要提供外部的直流电源,自励方式通过电网输出有功功率至SVG建立SVG的直流电压。δ为Us和Uc之间的相角差。

weixin_42668920的博客 1998

录制屏幕x264和minimp4的使用总结

本文档总结了使用x264和minimp4库实现屏幕录制的完整流程,包括屏幕捕获、H.264编码和MP4封装。代码基于screen_capture_lite库实现Windows屏幕捕获,并结合x264进行视频编码,最后使用minimp4生成标准可播放的MP4文件。

sking007的专栏 1092

LVGL字体优化实战:如何将中文字库放到外部SPI Flash并动态加载(节省内部RAM)

本文详细介绍了LVGL在嵌入式UI开发中如何通过外部SPI Flash存储中文字库并动态加载,以节省内部RAM资源。通过对比不同存储介质和字库格式,提供多种实现方案及性能优化技巧,帮助开发者在资源受限设备上实现高效的中文显示。

weixin_28693683的博客 348

OpenClaw 快速安装与本地应用实战 —— 每一步都有截图加详细说明,本地AI助手,让打工人也有下属

《OpenClaw 2026开源智能体框架10分钟快速部署指南》摘要:本文提供OpenClaw最新版全平台部署方案,重点解决三大核心问题:1)环境配置优化,通过一键脚本实现3-8分钟快速安装(含国内镜像加速方案);2)初始化配置详解,包含大模型绑定(智普AI/本地模型)与5个高频技能安装;3)实战演示文件自动整理任务。同时总结6类常见故障解决方案,涵盖权限、端口占用等典型问题,确保用户从安装到首个自动化任务落地全程无障碍。特别强调Windows需管理员权限、禁用中文路径等关键注意事项,实现"安装即

weixin_43538316的博客 812

ios一步一步编译ffmpeg,x264实现h264编码

关于编码的部分一直网上的资料不多,自己也整理了一下,理出一条可通的路子给大家。此篇文章的环境:xcode4.2 sdk5.0编译的版本:真机armv7 一,x264库的编译首先到http://www.videolan.org/developers/x264.html下载x264的库,然后解压。打开shell,进入x264的目录,执行如下语句CC=/Developer/Platforms/iPhon

huangmindong的专栏 950

【ceph】OSD-基本存储单元

OSD 是 Ceph 的基本存储单元,负责对象的存储、检索和数据副本的管理。每个 OSD 进程通常对应于存储集群中的一个物理或虚拟存储设备(如硬盘或 SSD)。OSD 是 Ceph 的关键组成部分,负责对象的存储、管理和复制。通过多个 OSD 共同协作,Ceph 能够提供高可用性、可扩展性和容错能力,适用于各种存储需求。

qq_42853133的博客 2002
上一篇: UITableView的多个UITextField时,有的被键盘挡住怎么解决
下一篇: 15个前卫的 HTML5 & CSS3 网页设计作品
weixin_34233421
博客等级 码龄11年 7082粉丝 141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值