视频编码SVC --- JSVM代码阅读笔记(五)

最新推荐文章于 2021-08-05 21:20:17 发布
最新推荐文章于 2021-08-05 21:20:17 发布
阅读量2.4k 收藏 7
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 视频编码 文章标签： list signal buffer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wgtmac/article/details/6330831
本文详细介绍了JSVM中MB编码器的16x16运动估计过程，包括MbEncoder类的xEstimateMb16x16、xEstimateMbIntra16、xEstimateMbIntraBL和xEstimateMbBLSkip方法，涉及运动预测、RdCost计算及最佳模式选择等关键步骤。同时，文中提到了BLSkip模式下的处理细节和INTRA_16x16预测模式的选择。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ErrVal

MbEncoder::xEstimateMb16x16( IntMbTempData*&  rpcMbTempData,

                             IntMbTempData*&  rpcMbBestData,

                             RefListStruct&   rcRefListStruct,

                             UInt             uiMinQP,

                             UInt             uiMaxQP,

                             UInt             uiMaxNumMv,

                             UInt             uiNumMaxIter,

                             UInt             uiIterSearchRange,

                             MbDataAccess*    pcMbDataAccessBase,

                             Bool             bResidualPred )

//运动估计队列用的是MEList

 

//如果允许MotionPred

iBLRefIdx [0] = pcMbDataAccessBase->getMbMotionData( LIST_0 ).getRefIdx ();              //ref_idx

cBLMvPred [0] = pcMbDataAccessBase->getMbMotionData( LIST_0 ).getMv     ();      // BL的mv  作为EL运动估计的MVP

 

rpcMbTempData->clear();                       // 清空

//设置几个参数

rpcMbTempData->setMbMode( MODE_16x16 );    

rpcMbTempData->setBLSkipFlag( false );

rpcMbTempData->setResidualPredFlag( bResidualPred );

 

//对List0、List1中每个ref_idx，进行ME

pcRefFrame = rcRefFrameList0[iRefIdxTest];     //读取参考帧

 

// 根据当前块的ABC块得到MVP  存入cMvPred[0][iRefIdxTest]

rpcMbTempData->getMbDataAccess().getMvPredictor   ( cMvPred[0][iRefIdxTest], iRefIdxTest, LIST_0 );   

 

m_pcMotionEstimation->estimateBlockWithStart(…)   // 运动估计出mv

//注意：这里MVP一定是周围块得到的MVP，搜索起点可能是MVP，也可能是BL的mv(当BL的ref_idx与当前的ref_idx相等时就以BL的Mv为搜索起点，但是MVP仍是周围块得到的)

 

//如果这个ref_idx与BL的相同，则    MotionPrediction

m_pcMotionEstimation->estimateBlockWithStart(…)   // 运动估计出mv

//注意：这里MVP是BL的mv，搜索起点可能是BL的mv

 

//如果cost比前面的最小cost(org-ref的失真 和Mv与ref_idx的比特数)

选用该ref_idx和mv

 

//如果是List1预测，还要补偿出双向预测用的块

m_pcMotionEstimation->compensateBlock ( &cYuvMbBuffer[1], PART_16x16, MODE_16x16 )

 

//如果是B帧，还要进行迭代的Bi-Pred，步骤与上面相同

//注意：MVP用对应LIST的MVP，起始MV也用上次对应LIST运动估计出的MV，包括Std的ME和BL的ME

 

//保存ref_idx、mv和mvd

  rpcMbTempData->getMbMotionData( LIST_0 ).setRefIdx ( iRefIdx [0] );

  rpcMbTempData->getMbMotionData( LIST_0 ).setAllMv ( cMv [0] );

  rpcMbTempData->getMbMvdData   ( LIST_0 ).setAllMv ( cMvd [0] );

 

//设置每个4x4块的MotionPredFlag

  rpcMbTempData->getMbMotionData( LIST_0 ).setMotPredFlag( bBLPred [0] );

  rpcMbTempData->getMbMotionData( LIST_1 ).setMotPredFlag( bBLPred [1] );

 

//计算4x4变换的RDCost

xSetRdCostInterMb(*rpcMbTempData, pcMbDataAccessBase, rcRefListStruct, uiMinQP, uiMaxQP, bLowComplexMbEnable )           后面分析

 

xCheckBestEstimation(  rpcMbTempData, rpcMbBestData )

  //如果当前4x4变换的RdCost比BestData的RdCost大，则函数退出

 

  //交换rpcMbTempData和 rpcMbBestData

 

xCheckInterMbMode8x8(  rpcMbTempData, rpcMbBestData, pcMbRefData, rcRefListStruct, uiMinQP, uiMaxQP,

false, pcMbDataAccessBase )

  //计算当前8x8变换的RdCost

   xSetRdCost8x8InterMb( *rpcMbTempData, pcMbDataAccessBaseMotion, rcRefListStruct,  

                              uiMinQP, uiMaxQP, bBLSkip, 0, pcBaseLayerRec, pcBaseLayerResidual )

   xCheckBestEstimation(  rpcMbTempData, rpcMbBestData )

 

 

 

 

ErrVal

MbEncoder::xEstimateMbIntra16( IntMbTempData*&  rpcMbTempData,

                            IntMbTempData*&  rpcMbBestData,

                            UInt             uiQp,

                            Bool             bBSlice,

                                                                 Bool             bBLSkip

)  在xEstimateIntraBL()里会调用这个函数，且bBLSkip = true(只有这种情况为true，这个时候一定是TCoeff = 1，反过来不成立，因为可能TCoeff = 1，但是BLSkip不是true)

rpcMbTempData->clear();     //清空MbData 、YuvMbBuffer、 MbDataStruct 、CostData 、MbTransformCoeffs数据

 

//读取预测需要的样点 从m_pcIntPicBuffer (pic)= > rpcMbTempData (mb)

rpcMbTempData->loadIntraPredictors( m_pcIntPicBuffer );

 

如果是BLSkip且avcRewrite：读取BaseLayer的预测模式，下面的遍历只用这一种模式

 

遍历四种INTRA16预测模式

//进行INTRA预测：

m_pcIntraPrediction->predictSLumaMb( rpcMbTempData, n, bValid )

 

//进行变换/量化/反量化/反变换：

m_pcTransform->transformMb16x16（）

 

//计算distortion：

m_pcXDistortion->getLum16x16( pPel, iStride );

 

如果是BLSkip且avcRewrite：m_pcTransform->predictMb16x16()

xScanLumaBlock()

    

//用Uvlc进行熵编码：

xScanLumaIntra16x16()

 

//计算RD：

m_pcRateDistortionIf->getCost( uiBits, uiDist )

   

//根据上面选择的模式进行INTRA16预测：

m_pcIntraPrediction->predictSLumaMb()

 

rpcMbTempData->getTempYuvMbBuffer().loadLuma( *rpcMbTempData );   //保存Intra预测值

 

//进行变换/量化/反量化/反变换：系数存在rpcMbTempData->get( B4x4Idx(0) ) （TCoeff m_aaiLevel）

m_pcTransform->transformMb16x16（）

 

如果是BLSkip且avcRewrite：m_pcTransform->predictMb16x16()

                          计算新CBP

 

//计算LUMA 的 RD：

m_pcXDistortion->getLum16x16( pPel, iStride, rcDFunc );

m_pcMotionEstimation->getRateCost( uiBestBits + uiMBits, rcDFunc == DF_SAD )

 

//编码色度部分：

xEncodeChromaIntra()

 

如果是BLSkip且avcRewrite：MbMode = INTRA_BL

否则，是INTRA16， INTRA_4x4+1 +0/1/2/3代表四种INTRA预测还要加上CBP等构成MbMode

 

avcRewrite（INTRA_BL或者普通INTRA）和不用avcRewrite的CBP要计算

 

MotionPred = false    ResidualPred = false     BaseMode与BLSkip有关

 

//计算总RD ：

xSetRdCostIntraMb（）

 

xCheckBestEstimation(  rpcMbTempData, rpcMbBestData )

 

 

 

 

ErrVal

MbEncoder::xEstimateMbIntraBL( IntMbTempData*&  rpcMbTempData,

                            IntMbTempData*&  rpcMbBestData,

                            UInt             uiMinQP,

                            UInt             uiMaxQP,

                            const Frame*     pcBaseLayerRec,

                            Bool             bBSlice,

                            MbDataAccess*    pcMbDataAccessBase )

rpcMbTempData->clear();           // 清空数据

rpcMbTempData->setMbMode( INTRA_BL );    //MbMode

rpcMbTempData->setBLSkipFlag( bBLSkip )      //只要BL是intra

rpcMbTempData->setTransformSize8x8( false );

 

rpcMbTempData->setResidualPredFlag( false );

 

TCoeffLevelPredictionFlag = 1 （SliceHeader）

Based on the MbMode of BL

MODE_PCM          

 --xEstimateMbPCMRewrite

INTRA_4x4 (TransformSize8x8 decide INTRA_4x4 or INTRA_8x8)

 --xEstimateMbIntra4  |  xEstimateMbIntra8

others( INTRA_16x16)

 --xEstimateMbIntra16

 

Return

SCoeffResidualPredFlag = 1（SliceHeader）（MGS CGS）

rcYuvMbBuffer拷贝BaseLayer的预测数据m_sPred

(就是BL的intra预测样点====最底层BL的intra重建)

Others （Spatial）

rcYuvMbBuffer拷贝pcBaseLayerRec->getFullPelYuvBuffer()

BL的m_Subband

rcTempYuvMbBuffer.loadLuma = rcYuvMbBuffer   都是BL的样点值

对每个luma 8x8块 的每个4x4块

--xEncode4x4InterBlock ()

  

isSCoeffPred()

else

transform4x4BlkCGS ()

对当前4x4变换系数和baselayer反量化系数进行做差；对差值进行量化、反量化；得到的值加上baselayer反量化系数得到该层反量化值；最后进行反变换重建

transform4x4Blk ()

正常的4x4变换 重建

isTCoeffPred()

predict4x4Blk (当前系数，baselayer系数) ---------接着上面else继续的

当前块4x4变换量化后系数和baselayer量化后系数进行做差（直接在变换域预测）

用Uvlc编码计算bits

 

//对chroma

--xEncodeChromaTexture ()

  流程与Luma几乎相同

 

//计算RD

  --xSetRdCostIntraMb ()

 

xCheckBestEstimation  (  rpcMbTempData, rpcMbBestData )

 

//用8x8变换再计算一次

--xEstimateMbIntraBL8x8 ()

 

 

 

INTRA_BL：在不rewrite的情况下

预测值拷贝BL的预测值（分辨率相同）/BL重建值（分辨率不同）

 

注意：

INTRA_BL不可能用residual prediction和motion prediction

因此函数的bCheckWithResPred = 0，SCoeff = 0（虽然SH里面为1）

 

那么SH的SCoeff = 1有什么作用呢？

---------作用是用BL的预测值作为该EL层的预测值！！否则用BL的重建值

 

进行变换时

EL   transform4x4BlkCGS

EL   transform4x4BlkCGS

EL   transform4x4Blk

BL   transform4x4Blk

 

 

ErrVal

MbEncoder::xEstimateMbBLSkip( IntMbTempData*&     rpcMbTempData,

                              IntMbTempData*&     rpcMbBestData,

                              RefListStruct&      rcRefListStruct,

                              UInt                uiMinQP,

                              UInt                uiMaxQP,

                              const Frame*        pcBaseLayerRec,    // 参考层的重建(去块滤波之前)

                              UInt                uiMaxNumMv,

                              Bool                bBiPred8x8Disable,

                              Bool                bBSlice,

                              MbDataAccess*       pcMbDataAccessBase,

                              MbDataAccess&       rcMbDataAccess,

                              Bool                bResidualPred,

                              const YuvMbBuffer*  pcBLResidual )  //传入cBaseLayerBuffer

参考层是INTER继续下去，否则，如果当前宏块是InCropWindow，进入xEstimateMbIntraBL()

 

rpcMbTempData->clear ();

 

// 直接copy motion （ref_idx） 也copy了mbMode 和分区方式

rpcMbTempData->copyMotion ( pcMbDataAccessBase->getMbData() );

 

//设置BLSkipFlag = true，ResidualPredFlag(可true可false

 

//Mvd清零

rpcMbTempData->getMbMvdData ( LIST_0 ).setAllMv( Mv::ZeroMv() ); 

 

//计算RD

xSetRdCostInterMb()

 

xCheckBestEstimation(  rpcMbTempData, rpcMbBestData ) );

 

xCheckInterMbMode8x8( rpcMbTempData, rpcMbBestData, pcMbRefData, rcRefListStruct, uiMinQP, uiMaxQP, true,

pcMbDataAccessBase, (Frame*)pcBaseLayerRec, pcBLResidual )

 

 

计算RD的函数调用参数

xEstimateMbBLSkip

xSetRdCostInterMb( *rpcMbTempData, pcMbDataAccessBase, rcRefListStruct, uiMinQP, uiMaxQP,

bLowComplexMbEnable, true, 0, (Frame*)pcBaseLayerRec, pcBLResidual(就是cBaseLayerBuffer) )

xEstimateMb16x16

xSetRdCostInterMb( *rpcMbTempData, pcMbDataAccessBase, rcRefListStruct, uiMinQP, uiMaxQP,

bLowComplexMbEnable )

xEstimateMbIntraBL

xSetRdCostIntraMb   ( *rpcMbTempData,  uiCoeffBits,  bBLSkip )

xEstimateMbIntra16

xSetRdCostIntraMb   ( *rpcMbTempData,  uiBestBits,   false )

 

 

 

ErrVal

MbEncoder::xSetRdCostInterMb( IntMbTempData&      rcMbTempData,

                           MbDataAccess*       pcMbDataAccessBase,

                           RefListStruct&      rcRefListStruct,

                           UInt                uiMinQP,

                           UInt                uiMaxQP,

                           Bool                bLowComplexity,   // JVT-V079

                           Bool                bBLSkip,

                           UInt                uiAdditionalBits,

                           Frame*              pcBaseLayerRec,

                           const YuvMbBuffer*  pcBaseLayerResidual )        // cBaseLayerBuffer

参数

cTempPredBuffer

 

空->MC预测值

rcYuvMbBuffer     

rcMbTempData

空àMC预测值àMC重建值

rcTempYuvMbBuffer

rcMbTempData .getTempYuvMbBuffer ();   

RC的预测值

rcTempBLSkipBaseRes

rcMbTempData .getTempBLSkipResBuffer ()

一开始为空，后来是cBaseLayerBuffer的更新后的值

 

设置FwdBwd----------每个8x8块的LIST0/1参考情况

 

get prediction signal (for residual coding)---------运动补偿MC

读取MC的list

compensateMb()/compensateSubMb()：        //补偿出预测宏块

   xGetMbPredData()   //读取ref_idx/MV/MVD/参考帧buffer到变量cMC8x8D中

   xPredLuma()   xPredChroma()  //根据mv和ref_idx得到预测的宏块è rcYuvMbBuffer

//BL的intra预测，该层用base mode 进行补偿出预测宏块

m_pcMotionEstimation->compensateMbBLSkipIntra( rcMbDataAccess, &rcYuvMbBuffer, pcBaseLayerRec )

rcYuvMbBuffer（预测的宏块）赋值给cTempPredBuffer（MC的预测值）

 

get prediction signal (for reconstruction)---------重建RC

如果RC和MC队列不同，读取RC的list

compensateMb()/compensateSubMb()/compensateMbBLSkipIntra()，

预测值à rcTempYuvMbBuffer（RC的预测值）

 

（如果MC和RC队列相同，rcTempYuvMbBuffer== rcYuvMbBuffer）

 

//是BaseMode且Residual Pred

   m_pcMotionEstimation->updateMbBLSkipResidual( rcMbDataAccess, rcTempBLSkipBaseRes )

     // rcTempBLSkipBaseRes是pcBaseLayerResidual，对该值进行更新

   rcYuvMbBuffer + =  rcTempBLSkipBaseRes  –  pcBaseLayerResidual 

 (如果BL是用的预测rcYuvMbBuffer=0；或者INTER的BaseMode，cBaseLayerBuffer=0)

   cTempPredBuffer和rcTempYuvMbBuffer都是rcYuvMbBuffer(MC预测值)

 

注意：rcYuvMbBuffer是rpcMbTempData的宏块数据

 

对每个8x8块的每个4x4块，进行变换

SCoeff

普通

transform4x4BlkCGS

1 (原始-MC预测)的差值进行变换

2 新变换系数 =前面的变换系数 – 参考层反量化后系数 就是变换系数差

3 新变换系数进行量化反量化

4 新反量化后的值 = 参考层反量化后 + 变换系数差量化反量化后

5 对新反量化后的值进行反变换

变换域—变换系数的差！！！！

传出去的是变换系数的差，重建的仍是完整的块

transform4x4Blk

1 (原始-MC预测)的差值进行变换

2 量化和反量化

3 反变换

TCoeff：SVC to AVC rewrite

反变换后的残差会与预测值相加进行重建！！！

 

CAVLC熵编码，计算Bits

 

//保存最佳重建的宏块

  rcMbTempData.getMbTCoeffs ().copyFrom( cBestCoeffs );

  rcMbTempData.loadLuma     ( cBestRec );

  rcMbTempData.loadChroma   ( cBestRec );

 

//如果RC和MC队列不同   原来rcYuvMbBuffer是MC的，现在改成了RC的

rcYuvMbBuffer.subtract( cTempPredBuffer );

rcYuvMbBuffer.add ( rcTempYuvMbBuffer );

 

jsvm编码SVC视频
xaiojiang的专栏
08-01 3284
我位置上的电脑有相关的yuv序列，可以直接在我的电脑上跑，jsvm安装在J盘。 步骤1：转换得到yuv视频序列   ffmpeg.exe -i input.mp4-f rawvideo out.yuv input.mp4：输入视频（路径要写全） out.yuv：输出视频（路径要写全）   ffmpeg工具见文件夹。     所有路径都要写全！   步骤二：转换得到所需的分辨
视频编码SVC --- JSVM代码阅读笔记(一)
江南de烟雨的专栏
04-18 3944
main()         // 主函数<br />  //给H264AVCEncoderTest*  pcH264AVCEncoderTest分配空间，后面函数用它调用  H264AVCEncoderTest::create()<br />  <br />  //初始化pcH264AVCEncoderTest的成员，主要是编码器的参数配置  pcH264AVCEncoderTest->init()<br />    //给EncoderCodingParameter* m_pcEncoderCoding
视频编码SVC --- JSVM代码阅读笔记(四)
江南de烟雨的专栏
04-18 3001
ErrValLayerEncoder::xEncodeLayerRepresentation(ExtBinDataAccessorList& rcOutExtBinDataAccessorList,   // rcAccessUnitData.getNalUnitList()                                          ControlData&            rcControlData,           // m_pacControlData[ uiFram
SVC的开源代码JSVM
04-24
SVC的开源代码JSVM的参考模型
基于SDN的SVC视频组播系统搭建二
造梦先森Kai的专栏
06-15 1283
The Event System: pox.lib.reventPOX中定义的事件都是revent.Event类的子类。还有一种引发事件的类（事件源）从revent.EventMixin继承，这个类通常是组件中用来向core注册的类。事件管理系统过程：1，首先建立一个时间类：
视频编码SVC源码参考学习 jsvm.zip
09-10
"视频编码SVC源码参考学习 jsvm.zip"是一个针对SVC编码技术的学习资源，包含了JSVM（Java Scalable Video Codec）的源代码，这对于开发者深入理解H.264/SVC编码框架以及进行相关编程实践非常有帮助。 JSVM是基于...
视频编码SVC源码参考学习 jsvm
03-26
视频编码SVC（Scalable Video Coding）是H.264/AVC标准的一个扩展，旨在提供一种可扩展的编码方式，以适应不同带宽、分辨率和播放质量的需求。JSVM（JVT Scalable Video Coding Test Model）是用于SVC开发的一个开源...
JSVM实现可伸缩视频编码（SVC）
sf1256的博客
08-05 1711
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、JSVM安装和测试1.安装2.测试二、编码2.解码3.解码SVC视频 前言 这篇文章主要介绍了Ubuntu16.04下如何使用JSVM来实现可伸缩视频编码。主要参考了https://github.com/ChristianKreuzberger/DASH-SVC-Toolchain和https://blog.youkuaiyun.com/qq_41895113/article/details/80561218 提示：以下是本篇文章正
JSVM-Code-Notes:H.264SVC 参考代码注释——JSVM 9.18
06-15
JSVM-代码-注释 H.264/SVC参考代码注释——JSVM 9.18.8，注释为中文。 概括这些是我在中国科学技术大学（USTC）学习期间阅读的一部分代码。 它包含对 MPEG-4 part 10 / H.264 中可伸缩视频编码 (SVC) 核心部分的...
jsvm-software-manual
11-28
该文档主要对H.264/SVC的测试软件jsvm工具进行了详细的解读。
JSVM9.8源代码
05-30
学习H264 SVC的好资源,最新的jsvm代码,
JSVM9.19.15
04-09
H264\SVC参考软件JSVM9.19.15，能够编译，官网下载的。
jsvm9.19.7.rar
11-28
H.264/SVC的测试软件，来源于别的共享者！
JSVM最新版本
02-22
截止到2012年2月22日最新版本的JSVM
jsvm9.19.7运行步骤
11-28
该文档主要对H.264/SVC的测试软件jsvm运行步骤作了简要的图文说明。
【Codecs系列】编解码基础知识--可伸缩编码SVC
优快云明星博主，认证博客专家，视频、Matlab领域优质创作者。
10-23 3390
DATE：2019-10-10 可伸缩编码SVC的基本原理 时域SVC 空域SVC 质量SVC H.264 H.265 SVAC
可伸缩视频编解码SVC技术介绍应用分析
热门推荐
暂时为空
09-21 1万+
一、SVC技术的由来及现状                随着H.264国际视频编码标准的逐渐成熟和推广，越来越多的视频应用采用H.264标准。由于存在不同的网络和不同的终端，客户对于视频编码的可伸缩性方面的要求也越来越迫切，因此SVC技术应运而生，成为当前网络视频监控的热门话题，势必将引领下一代网络视频技术的发展方向。       SVC，即Scalable Video COD
对于EL的MODE_SKIP类型宏块
人工智能(AI)技术，大模型技术，深度学习，机器学习，计算机视觉，AI工具实践应用等分享
10-18 1436
<br />后会变为INTRA_BL或INTER_16*16类型宏块。<br />对于EL中的MODE_SKIP是有特殊含义的，可能对应inter layer的texture或motion预测。<br />根据观察MODE_SKIP 就是宏块进行层间预测的含义，首先根据这个标识来判断是否为层间预测，然后进一步的判断是层间intra预测，还是层间motion预测。<br />根据svc overview中描述，这个MODE_SKIP应该就是论文中所说的Blskip模式，对于Blskip模式，根据BL层对应块的
(重要)JSVM中配置文件介绍以及如何配出各种可分级
nkwangjie的专栏
03-31 1346
转自：http://blog.sina.com.cn/s/blog_786eaa330100rp9e.html 一、JSVM配置文件简介 配置文件的位置在JSVM\H264Extension\data 中 1.MVC.cfg是# JSVM Configuration File in AVC mode,也就是AVC的编码配置文件。毕竟JSVM是支持AVC编码的嘛。如果是研究SVC，基本
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值