CVPR 2024 | CAMixerSR 动态注意力分配的超分辨率加速框架

背景

随着相关技术和应用的发展，比如超高清屏幕、虚拟现实（VR）等沉浸式体验的增加，用户对超高分辨率图像和视频的需求变得越来越强烈。在这些场景中，图像的质量和清晰度对于提供最佳的用户体验至关重要。超高分辨率不仅能提供更清晰、更真实的视觉效果，还能在一定程度上增强人们的互动和沉浸感，在一些VR场景中我们需要8K甚至16K的才可以满足需求。然而要生成或者处理这些超高分辨率的内容，对算力的要求也是与日增长，对相关算法提出了挑战。

超分辨率是一个经典的计算机底层视觉问题，该问题要解决的是通过低分辨率的图像输入，获得高分辨率的图像输出。目前该领域的算法模型主要是有CNN以及Transformer两大类别，考虑到实际的应用场景，超分的一个细分领域方向是算法的轻量化。在上述提到的超高分辨率的场景，超分算法的算力消耗问题变得尤为关键。基于此，本文提出了一种名为CAMixerSR的超分框架，可以做到内容感知，通过对Conv和Self-Attention的分配做到计算量的大幅优化。

论文地址：http://arxiv.org/abs/2402.19289

方法

Table 1 不同难易程度内容的超分算力与效果对比

我们在对内容进行分块并且根据处理的难易程度分成了简单、中等、困难三个类型，并且使用不同FLOPS的计算单元，Conv以及SA +Conv两种类型进行比