VVC中CIIP、OBMC和LMCS工具的协同

最新推荐文章于 2025-02-07 11:20:43 发布

原创最新推荐文章于 2025-02-07 11:20:43 发布 · 2.4w 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#VVC #LMCS #OBMC #CIIP

视频编码同时被 2 个专栏收录

215 篇文章

订阅专栏

H.266/VVC

154 篇文章

订阅专栏

VVC中为了提高预测的准确率增加了很多工具，其中一个CU可以同时使用CIIP、OBMC、LMCS等工具。本文来自JVET-X0090《On combination of CIIP, OBMC and LMCS》，该提案提出了这三种工具不同的协同方法，并进行实验验证。

简介

在VVC中新增了LMCS，该工具会将输入像素进行映射，CU在映射域进行预测。在ECM2.0中，当一个CU同时使用LMCS、CIIP和OBMC时，最终的预测值将由CIIP得到的预测值和OBMC得到的预测值加权得到，其中CIIP的预测值在映射域计算，而OBMC的预测值在原始像素域计算，如下式：

其中 $CIIP_{predY}$ 在映射域计算，

其中 $Inter_{predY}$ 是在原始像素域的帧间预测值， $Intra_{predY}$ 是在映射域使用planar模式计算的帧内预测值。 $OBMC_{predY}$ 是在原始像素域使用相邻块运动信息计算得到。

算法改进

提案提出了三种改进方法使得 $CIIP_{predY}$ 和 $OBMC_{predY}$ 在同一个域中计算。

改进1

第一种改进方法是将 $CIIP_{predY}$ 和 $OBMC_{predY}$ 都在映射域中计算，即在加权前对 $OBMC_{predY}$ 进行映射。最终预测像素计算如下式：

实验结果如表1所示，

表1 映射域结果

	Random Access Main 10
	Over ECM-2.0
	Y	U	V	EncT	DecT
Class A1	-0.04%	-0.03%	-0.09%	99%	100%
Class A2	0.00%	-0.05%	0.07%	99%	100%
Class B	-0.02%	-0.01%	0.00%	102%	101%
Class C	0.00%	-0.01%	0.04%	100%	100%
Class E
Overall	-0.01%	-0.02%	0.01%	100%	100%
Class D	0.03%	-0.03%	0.00%	99%	100%
Class F	0.00%	-0.04%	-0.01%	101%	102%

	Low delay B Main10
	Over ECM-2.0
	Y	U	V	EncT	DecT
Class A1
Class A2
Class B	-0.02%	0.17%	0.00%	101%	101%
Class C	-0.09%	-0.39%	-0.08%	99%	100%
Class E	-0.03%	0.46%	-0.60%	101%	102%
Overall	-0.05%	0.05%	-0.18%	101%	101%
Class D	0.12%	-0.55%	-0.56%	100%	99%
Class F	-0.02%	-0.05%	0.03%	101%	101%

改进2

第二种改进方法是将 $CIIP_{predY}$ 和 $OBMC_{predY}$ 都在原始像素域中计算，即在加权前对 $CIIP_{predY}$ 进行逆映射。最终预测像素计算如下式：

实验结果如表2，

表2 原始域结果

	Random Access Main 10
	Over ECM-2.0
	Y	U	V	EncT	DecT
Class A1	-0.01%	0.18%	0.08%	99%	100%
Class A2	-0.01%	0.06%	0.08%	99%	100%
Class B	0.00%	0.05%	0.00%	100%	100%
Class C	-0.02%	0.08%	0.06%	100%	100%
Class E
Overall	-0.01%	0.09%	0.05%	100%	100%
Class D	-0.02%	-0.14%	0.05%	100%	100%
Class F	0.00%	-0.02%	-0.04%	100%	100%

	Low delay B Main10
	Over ECM-2.0
	Y	U	V	EncT	DecT
Class A1
Class A2
Class B	-0.03%	0.06%	0.08%	99%	100%
Class C	-0.09%	0.28%	0.11%	100%	100%
Class E	-0.01%	-0.22%	-0.82%	101%	100%
Overall	-0.04%	0.06%	-0.13%	100%	100%
Class D	0.01%	-0.45%	-0.38%	100%	99%
Class F	-0.08%	-0.06%	-0.15%	101%	101%

改进3

第三种改进方案将CIIP拆开进行，首先在原始域将OBMC预测结果和帧间预测结果进行加权作为最终帧间预测结果，然后将该帧间预测结果和帧内预测结果进行CIIP计算，

实验结果如表3，

表3 方案3结果

	Random Access Main 10
	Over ECM-2.0
	Y	U	V	EncT	DecT
Class A1	-0.02%	-0.04%	0.03%	99%	100%
Class A2	-0.01%	-0.05%	0.03%	99%	100%
Class B	-0.01%	-0.01%	-0.01%	101%	101%
Class C	-0.02%	-0.01%	0.04%	101%	101%
Class E
Overall	-0.01%	-0.02%	0.02%	100%	100%
Class D	0.02%	-0.12%	0.06%	101%	100%
Class F	0.01%	0.03%	0.03%	101%	101%

	Low delay B Main10
	Over ECM-2.0
	Y	U	V	EncT	DecT
Class A1
Class A2
Class B	-0.08%	0.03%	0.02%	102%	100%
Class C	-0.03%	-0.21%	0.03%	100%	99%
Class E	0.05%	-0.34%	-0.78%	101%	101%
Overall	-0.03%	-0.14%	-0.18%	101%	100%
Class D	0.08%	-0.27%	0.20%	101%	100%
Class F	-0.09%	-0.51%	-0.21%	101%	102%

总结

由前面实验结果可得，和都在映射域中计算在ECM2.0中RA配置结果 {Y, U, V, EncT, DecT}为 {-0.01%, -0.02%, 0.01%, 100%, 100%}，LDB配置下结果为{-0.05%, 0.05%, -0.18%, 101%, 101%}。都在原始域中计算，RA配置下结果为{-0.01%, 0.09%, 0.05%, 100%, 100%}，LDB配置下结果{-0.04%, 0.06%, -0.13%}。方案3RA配置下结果为{-0.01%, -0.02%, 0.02%, 100%, 100%} ，LDB配置下结果{-0.03%, -0.14%, -0.18%, 101%, 100%}。

感兴趣的请关注微信公众号Video Coding