
视频增强与编解码
文章平均质量分 84
很难绷得住
点波关注不迷路
展开
-
HEVC学习之去方块滤波
AVC中采取对4×4块的边界进行去方块滤波,HEVC采取的是对8×8块进行去方块滤波,这种改进减少了需要进行去方块滤波处理的边界数量,能更好适应高分辨率视频编码的需要。由于8×8块的边界可能存在图像的自然边界,若是对这些区域进行了滤波操作,则会出现模糊效应,因此先进行滤波决策,根据边界的实际情况,判断是否滤波以及采用何种滤波强度。对于色度滤波没有亮度滤波那么复杂,只要边界强度为2,且滤波开关打开,就对色度分量进行滤波,无须其他判断条件,且只有一种模式,修正边界两侧各1个像素,即p0与q0。原创 2023-05-10 19:15:32 · 1024 阅读 · 1 评论 -
HEVC学习之率失真优化
由于引入了拉格朗日系数,不再给定码率RT,设D+λR=J,过(R,D)做一条斜率为λ的斜线,其于纵轴截距即为J,让J最小即让截距最小,此时让(R,D)逼近理论曲线的问题可转化为过(R,D)做一条斜率为λ的斜线,让其与y轴截距最小,通过数学推导可知,当该斜线于曲线相切时理论最小,寻找给(R,D)点的过程即HEVC中的率失真优化。在视频编码中的率失真理论为在给定码率RT的前提下最大限度的减少视频信息的失真,用数学描述为第一个式子所示,其中m*为取得最小码率时的编码方式,S为编码方式的集合。原创 2023-05-09 15:55:06 · 1736 阅读 · 0 评论 -
HEVC学习之CTU划分
在做完帧间预测后进行阵内预测,这是调用的函数是xCheckRDCostIntra,在xCompressCU函数的后续部分,还递归调用自身以实现对每个CU的编码。比如,帧内预测的方向、帧间预测的分割方式、运动矢量预测,以及帧间预测参考图像索引号都属于预测单元的范畴。可以看到figure1位为I帧,采用的全是帧内编码,figure2为P帧,其中0.02%的帧内编码,13.99%的帧间编码,85.99%的skip模式(跳过型CU只能采用帧间预测模式,而且产生的运动向量和图像的残差信息不需要传送给解码器)。原创 2022-12-22 18:53:36 · 1844 阅读 · 0 评论 -
HEVC学习之码流分析
以H.264为例:H.264适应不同网络之间的传输,主要原因是引入了分层结构,分为视频编码层(VCL)与网络抽象层(NAL),从而实现压缩编码与网络传输分离。通过H.264算法压缩的后的数据通过NAL-VCL接口封装成NAL包NAL的基本单元是NALU,而VCL层自上而下的结构如下所示:其中划分条带(slice)的目的是为了适应不同传输网络的最大传输单元(MTU)分组的目的是为了使数据独立于其他分组,从而实现特定的目的,比如防止误差扩散保证图像质量,区分前景背景以分别编码每个NALU由包头信息原创 2022-06-20 22:20:13 · 1533 阅读 · 2 评论 -
HEVC之HM学习02
main 和mian10主要区别是profile和内部位深不同。intra表示是全I帧编码,low delay和low delay_p表示只有第一帧是I 帧编码,而其他的都是P帧或者是B帧编码。randomaccess表示分批B帧结构,周期性的插入一些随机访问帧,rext是范围扩展,high-throughput是高吞吐量。将上述组合下,比如encoder_intra_main10.cfg为Profile 为main10的帧内编码模式。**profile**是对原创 2022-06-08 11:31:49 · 1637 阅读 · 1 评论 -
HEVC之HM学习01
(1) TAppCommon 编码器和解码器共用的应用函数(2) TAppDecoder 解码器的应用函数(3)TAppDecoderAnalyser 解码器分析的应用函数(4) TAppEncoder 编码器的应用函数(5) TLibCommon 编码器和解码器共用的库函数(6) TLibDecoder 解码器的库函数(7)TLibDecoderAnalyser 编码器分析的应用函数(8) TLibEncoder 编码器的库函数(9) TLibVideoIO 视频输入、输出库函数开始配原创 2022-06-07 21:15:32 · 445 阅读 · 0 评论 -
压缩伪影的探讨
什么是块效应:块效应是在视频编码中人眼察觉到的小块边界处的不连续,只要是以块为单位进行的视频编码就会出现块效应,当以低码率传输时更为明显。为什么会造成块效应:DCT变换不是将一整张图进行dct变换,而是切成16X16,8X8,4X4的块进行变换,不同的图像块进行了不同的处理,有时是量化步长不同,有时是舍去的高频分量不同,这将导致图像块之间的相关性被破坏。当量化时采用的步长越大,或者相邻块的量化步长之差不同时更为明显(低码率时往往量化步长比较大,块效应更明显)。表现形式:梯形噪声:dct的高频系数被原创 2022-03-29 23:16:40 · 5996 阅读 · 0 评论 -
论文速读之A New Framework Based on Spatio-Temporal Information for Enhancing Compressed Video
摘要在视频压缩过程中会产生抽压缩伪影;人们提出了许多方法来解决这个问题。大部分使用光流去进行时域的运动补偿去获取更好时间信息。然而光流可能不准确,因为压缩视频可能会会被各种压缩伪影扭曲。光流还引入了额外的模型复杂性并且消耗很多算了。它也容易获得在显著运动和严重遮挡场景下误差传播的影响。针对这些问题,我们提出了一种高效的具有多帧结构,通过时空信息引导的质量增强网络。我们的算法采用了时空可变形卷积来聚合时间信息。我们定义输入作为目标帧及其相邻的参考帧联合预测偏移场以使时空变形取样位置。具体的,我们通过设计一个原创 2022-03-28 22:41:43 · 1709 阅读 · 0 评论 -
论文速读之QUALITY-GATED CONVOLUTIONAL LSTM FOR ENHANCING COMPRESSED VIDEO
1.摘要在过去的十年里,我们在应用深度学习以提高压缩视频的质量方面取得了巨大的成功。然而,现有的方法目标是在提高质量在单个帧上,或仅使用固定的相邻帧。因此,它们无法充分利用视频的帧间的信息关联性。本文提出了质量控制卷积长短时记忆(QG ConvLSTM)具有双向递归结构的网络可充分利用大范围帧中的有利信息。更重要的是,由于质量波动明显在压缩帧中,更高质量的帧可以提供为其他帧提供更有用的信息,以提高质量。因此,我们提出从质量相关特征中学习“忘记”和“输入”门在ConvLSTM单元格中。因此,像这样的不同质量原创 2021-09-28 21:46:54 · 383 阅读 · 0 评论 -
视频编解码学习01
此帧为I帧,所有宏块都是I块,采取帧内预测模式。查看其中一个宏块,信息如下:亮度块有4X4(9种模式)与8X8(4种模式)模式,亮度最佳帧内预测模式的选择有三步:1,计算并得到代价最小的4X4帧内模式2,计算并得到代价最小的16X16帧内模式3,比较前两步得到的代价,取其中代价最小的模式为最佳帧内预测模式该宏块采取的是4X4模式(ipred Intra_4X4)每个子宏块独立从9种模式中选择亮度预测模式色度预测模式(ipred chroma)不用选择分块大小,从4种模式中再选择。每个宏.原创 2021-09-09 21:55:55 · 297 阅读 · 0 评论