
视听觉处理
文章平均质量分 89
hahalidaxin
这个作者很懒,什么都没留下…
展开
-
【图像压缩】有损压缩实现无损预测
1 绪论本文贡献:1.公式化面向下游预测任务压缩的概念2.描述了在增强不变性任务上高表现所需要的比特数。3.提出无监督目标函数训练压缩器近似最优码率。4.我们的压缩器在8个未知数据集(zero-shot)上超过JPEG几个数量级,在ImageNet上,我们的方法减少了1000x的码率。2 率失真(RD)理论有损压缩中,通常是的重建。3 高预测表现的最小码率描述保证下游任务高表现表示的最小码率。论点分三步:1)定义当从中间表示预测下游任务时能够控制下游任务表..原创 2021-09-16 21:20:36 · 1143 阅读 · 1 评论 -
【图像压缩】统计学习与感知距离的关系
Hepburn, A., Laparra, V., Santos-Rodriguez, R., Ballé, J., & Malo, J. (2021). On the relation between statistical learning and perceptual distances. http://arxiv.org/abs/2106.044271 绪论如图1,本文定义三种距离,图像域中,原始图像与重建图像间距离,两张图像间距离,在中间表达域,两张图像中间表达的距离。本...原创 2021-08-07 21:54:56 · 770 阅读 · 0 评论 -
【图像压缩】连续比特率自适应《Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation》
《Asymmetric Gained Deep Image Compression With Continuous Rate Adaptation》1 绪论本文提出连续比特率可调整框架,非对称增益变分自编码器(AG-VAE)。使用一对即插即用增益单元实现单个模型下离散比特率自适应,之后使用指数插值实现连续比特率自适应,其间增加的复杂度可以忽略不计。此外为解决非对称分布样本的熵估计误差,提出非对称高斯熵模型。2 提出方法2.1 增益单元基于VAE的图像压缩框架中隐层表示普遍存在..原创 2021-06-26 19:59:37 · 2021 阅读 · 3 评论 -
【图像压缩】CLIC2021 Winner 《Perceptual Learned Image Compression With Continuous Rate Adaptation》
updating......CLIC2021 Image赛道获胜者1 绪论本文提出了一种感知学习图像压缩框架,使用率失真、感知和对抗损失用端到端的方式训练网络。为了有效给不同图像区域分配比特数,在可变比特率自适应框架中提出了感兴趣区域(ROI)技术。本文还研究了低比特率(0.075 bpp)下的训练稳定性以及 E2E 优化框架相对于后处理框架的优越性。本文提出的框架在宽比特范围上获得了很好的重建效果。2 提出的方法2.1 网络结构框架包括编码器、生成器和熵模型,熵.原创 2021-06-26 15:05:40 · 1726 阅读 · 1 评论 -
【图像压缩】优化隐层与分段量化
《Deep Image Compression with Latent Optimization and Piece-wise Quantization Approximation》绪论算法方法介绍本方法自编码器包含主网络和超先验网络两部分。主网络如图1所示,包含残差块、注意力模块和卷积层。对于编码器,设计了两种残差块,两者都是3x3卷积核,其中一个包含sub-sampling操作。同时,在编码端核解码端都是用跳跃连接进行特征聚合。注意力机制帮助模型注意图像中重要区域...原创 2021-06-24 21:27:29 · 785 阅读 · 4 评论 -
【图像压缩】替换输入改善压缩+实现可变比特率
Wang, X., Jiang, W., Wang, W., Liu, S., Kulis, B., & Chin, P. (2021). Substitutional Neural Image Compression. http://arxiv.org/abs/2105.07512原创 2021-06-19 21:26:44 · 507 阅读 · 0 评论 -
【图像压缩】使用调制自编码器实现可变比特率图像压缩
《Variable Rate Deep Image Compression with Modulated Autoencoder》原创 2021-06-18 21:34:25 · 2170 阅读 · 0 评论 -
【图像压缩】有损+残差联合优化实现的近无损压缩
绪论本文提出了一种联合有损图像压缩与残差的压缩框架,学习以为限制的近无损图像压缩。原创 2021-06-16 11:33:15 · 1748 阅读 · 2 评论 -
【图像压缩】高斯混合-注意力模型 《Learned Image Compression with Discretized Gaussian Mixture Likelihoods and Atten》
绪论本文针对熵模型优化提出使用离散化的高斯混合模型已提供更灵活的隐层表示分布估计,此外在网络结构中使用注意力模块关注复杂区域以提高性能。是第一个达到与VTM 5.2相近表现的工作。提出的方法压缩模型公式化其中分别代表原始图像,重建图像,隐层表示,量化后的隐层表示,是可训练参数。代表量化、熵编码。推理时,是四舍五入量化,生成经过熵编码为比特流。简单起见使用代替。如果给定一个概率模型,熵编码技术可以无损压缩已经量化后的数据。算术编码器是一种接近最优的编码器,这使得在训练过程中..原创 2021-06-12 16:49:43 · 2722 阅读 · 1 评论 -
【图像压缩】多层超先验模型 《Coarse-to-Fine Hyper-Prior Modeling for Learned Image Compression》
绪论基于超先验和空间上下文的模型在建模长期依赖方面有局限性,不能很好地榨干图像中的空间冗余度。本文提出一个多层超先验模型,并使用由粗到细的框架,以进一步减少空间冗余。原创 2021-06-11 21:46:04 · 2256 阅读 · 6 评论 -
【图像压缩】自回归模型 《Joint Autoregressive and Hierarchical Priors for Learned Image Compression》
绪论第一个在PSNR和MS-SSIM都优于BPG的学习模型。虽然自回归模型有验证功能的计算惩罚,但作者发现在图像压缩领域,自回归模型与多层先验模型互补,共同挖掘一原创 2021-06-10 19:44:03 · 4768 阅读 · 9 评论 -
【图像压缩】端到端可学习模型《End-to-end optimization of nonlinear transform codes for perceptual quality》
绪论传统图像压缩往往经过可逆变换、量化、熵编码、反转变换实现近似的重构图像。其中熵编码是无损编码(如哈夫曼、算术编码等),量化的目的是为产生熵编码可处理离散信号。传统方法往往对各个部分分别优化,本文在图像压缩领域提出一个端到端优化的框架。分析变换将图像向量转化到编码域(隐层变量),,将量化得到,之后经过合成变换返回到信号域得到重构图像。其中分析变换和合成变换都是可微分的。编码率(rate)通过离散概率分布的熵来评估(熵代表信息量的大小,直观来看,经过量化之后的离散分布要经过熵编码,概率越大的原创 2021-06-10 15:08:58 · 1616 阅读 · 0 评论 -
【图像压缩】超先验模型 《VARIATIONAL IMAGE COMPRESSION WITH A SCALE HYPERPRIOR》
绪论 2015年,第一个端到端图像编码方案被提出。基于深度学习的端到端图像压缩主要分为两类,一类是基于RNN的方法,一类是基于CNN的方法。本文对基于CNN的方法原创 2021-06-09 22:02:49 · 11787 阅读 · 15 评论 -
HIT 语音信号处理 Lab3 HMM实现部分
Discription《语音信号处理》Lab3 HMM模型实现部分本着不重复造轮子的原则,使用hmmlearn库搭建viterbi-BaumWelch的算法框架首先使用viterbi算法迭代计算模型初始参数,然后使用BaumWelch算法进行模型参数的迭代重估使用scikits.talkbox中的mfcc计算代码(python3原因装不上直接拷贝代码)封装类import pickl...原创 2019-11-27 13:18:52 · 408 阅读 · 0 评论