Learning Spatial Attention for Face Super-Resolution

最新推荐文章于 2024-05-25 10:05:19 发布
最新推荐文章于 2024-05-25 10:05:19 发布
阅读量1.5k 收藏 6
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_37122156/article/details/114867147
版权

Learning Spatial Attention for Face Super-Resolution 2020 CVPR

在这里插入图片描述

题目：基于空间注意的人脸超分辨率学习

1、引言

主要思想
人脸SR与一般的图像SR不同，侧重于人脸关键结构(即人脸成分形状和人脸轮廓)的恢复。这些结构只占图像的一小部分，但通常更难恢复，因为它们表现出较大的像素变化。
一般的图像超分辨率技术在应用于低分辨率人脸图像时，难以恢复人脸的细节结构。最近针对人脸图像定制的基于深度学习的方法通过与人脸分析和关键点预测等附加任务联合训练，获得了更好的性能。然而，多任务学习需要额外的手动标记数据。此外，现有的工作大多只能生成分辨率相对较低的人脸图像(例如128×128)，因此其应用受到限制。虽然与这些附加任务的联合训练有助于提高关键人脸结构的重要性，但存在两个主要缺陷，即(1)需要额外的努力来标记附加任务的数据；(2)从LR输入预测人脸先验本身也是一个难题。
本文介绍了一种新的空间注意残差网络(SPARNet)，该网络建立在文章中最新提出的人脸注意单元(FAUS)的基础上，用于人脸的超分辨率。具体地说，我们向普通残差块引入了空间注意机制。这使得卷积层能够自适应地引导与关键面部结构相关的特征，并且较少关注那些特征不那么丰富的区域。这使得训练更加有效和高效，注意图的可视化结果表明，即使在分辨率很低(如16×16)的人脸上，我们的空间注意网络也能很好地捕捉到关键的人脸结构。
本文贡献
1、提出了一种高效的人脸超分辨率框架SPARNet。在不依赖任何额外监督(例如，人脸解析地图和地标)的情况下，它在各种指标上实现了最先进的性能。
2、本文提出的FAU是SPARNet的基本构建块，可以引导关键的人脸结构(即人脸分量和人脸轮廓)，显著提高人脸超分辨率的性能，并且通过在SPARNet中重复FAU，不同FAU下的空间注意图可以学习聚焦于不同的人脸结构，从而进一步提高SPARNet的性能。
3、引入SPARNetHD生成高分辨率(即512×512)人脸图像，用合成数据训练的模型同样适用于自然LR图像。

背景：1. 一般的图像超分辨率技术在应用于低分辨率人脸图像时，难以恢复人脸的细节结构。
2. 现有的工作大多只能生成分辨率相对较低的人脸图像。
方法：向普通残差块引入了空间注意机制。使卷积层能够自适应引导与关键脸部结构有关的特征，并较少关注那些特征较少的区域，使训练更有效。
结论：对各种指标（包括PSNR，SSIM，身份相似性和标志性检测）的定量比较证明了我们的方法优于当前技术水平。

在这里插入图片描述

图1 一张旧照片上展示了SPARNetHD的示例结果。我们可以看到，SPARNetHD可以很好地恢复人脸的关键部分，还可以生成高分辨率和逼真的纹理。

2、网络结构

SPARNet

SPARNet由三个模块组成，即降级模块、特征提取模块和高级模块，这些模块中的每个模块都由一个FAU堆栈组成。ILR首先通过双三次插值被上采样到与IHR相同的空间维度，馈送到SPARNet以产生ISR。
在这里插入图片描述

图2 空间注意残差网络(SPARNet)的体系结构

基于观察到人脸SR中某些人脸部分(如眼睛、眉毛、鼻子和嘴巴等关键人脸成分)比其他部位(如脸颊阴影)更重要这一事实，我们提出了一种空间注意力机制，使我们的网络更关注重要和信息丰富的特征。关键问题是如何产生关注度图和如何将其与卷积层相结合。首先，我们认为空间注意机制不应该只关注高层次的面孔，还应该关注低层次的结构。请注意，高级视图可帮助网络了解面孔的外观，而低级视图可使网络更好地了解本地详细信息。因此，空间注意机制应该能够从多尺度特征中学习。第二，剩余块在一般SR任务和Face SR任务中都表现出了巨大的成功。因此，将空间注意机制与残差区块相结合应该是有益的。
基于以上讨论，我们提出了一种人脸注意单元(FAU)，它通过引入空间注意分支来扩展原始残差块(见图3)。通过将FAU堆叠在一起，Face SR的重要特征不断增强。FAU中主要包括两个分支：特征分支和注意分支（应该提取多尺度特征）。
在这里插入图片描述

图3 面部注意单元

对于降级模块和高级模块中的残差块，我们使用scale Conv(见图4)对原始残差分支稍作修改。
在这里插入图片描述

图4 尺度残差块

SPARNetHD

将SPARNet扩展到SPARNetHD，以生成高分辨率和更逼真的SR图像。SPARNetHD增加了SPARNet的通道数，并采用了类似于Pix2PixHD的多尺度鉴别器。我们称这些鉴别器为D1、D2、和D3，它们分别用于从下采样到相同分辨率的地面事实中区分512×512、256×256和128×128三种不同尺度的SR图像。在不同尺度上使用多个鉴别器有助于提高SR图像的质量。

3、损失函数

SPARNet损失函数
通过最小化如下给出的像素级L2损失来优化SPARNet：
在这里插入图片描述
SPARNetHD损失函数
SPARNetHD中使用的损失函数由以下四个组件组成：
1、像素损失：我们使用L1范数作为ISR和IHR之间的像素级损失。它主要帮助约束输出中的低级信息，特别是颜色，定义为：
在这里插入图片描述
2、对抗性损失：这是关键的损失，有助于使输出更锐利，并生成更逼真的纹理，如头发。生成器和判别器的损失函数表示为：
在这里插入图片描述
3、特征匹配损失：这是判别器的特征空间损失。这有助于稳定GaN的训练。
在这里插入图片描述
4、感知损失：与特征匹配损失不同，感知损失是预先训练的VGG19网络的特征空间损失。它有助于约束输出中的高级语义。
在这里插入图片描述
最终的损失函数为：
在这里插入图片描述

4、实验结果

消融实验

比较了我们的模型的以下三种变体：

  • 基线：没有任何空间注意分支的残差SR网络。
  • SPARNet-VN：为了评估使用多个FAU块的有效性，我们保持特征分支不变，并改变SPARNet中使用的注意分支的数量。
  • SPARNet-SM：为了证明从多尺度特征中学习对于注意力机制是至关重要的，我们通过改变下采样/上采样块的数量来改变瓶颈中的特征地图的最小尺寸(尺度)。
  • SPARNet：在这项工作中使用的完整模型。

在这里插入图片描述

图5 为了评估所提出的空间注意机制的有效性，我们将SPARNet-V1和SPARNet的结果与基线模型的结果进行了比较。图5(A)显示，使用提出的空间注意机制，可以在PSNR和SSIM得分两个方面产生更好的图像质量结果。为了直观地显示注意机制带来的改善，我们基于五个关键的人脸地标(即两个眼睛中心、两个鼻子和两个嘴角)将人脸与固定模板对齐，计算每幅图像的二维PSNR和SSIM误差图，并对整个测试集的误差图进行平均。从图5©可以观察到，对应于关键面部结构的像素最难恢复(即，误差较大)，并且正如预期的那样，大部分改进发生在它们周围。从图5(B)可以看出，SP ARNet实现了比基线(56.23%的AUC)更高的地标检测准确率(58.51%AUC)。这证明了空间注意机制的好处。

在这里插入图片描述

图6 显示了Helen测试集上的一些SR结果。上图：HR照片和SR结果；下图：SPARNet-V1的FAU中的空间注意图(左)和SPARNet的最后三个FAU中的空间注意图(右)。

实验证明使用单个FAU对关键面结构进行自举可能是次优的。SPARNet中的FAU序列允许注意图在不同的阶段逐渐聚焦于不同的关键面结构。例如，可以看到图6右下角倒数第二个FAU的注意力图清晰地聚焦在关键面部结构的轮廓上，而最后一个FAU的注意力图则聚焦于一般的面部区域。在图7(a)中，我们显示了SPARNet-VN的更多结果比较。可以观察到，SPARNet-VN的评估PSNR得分与N呈正相关，这说明了堆叠多FAU的有效性。在这里插入图片描述

图7 SPARNet-VN和SPARNet-SM在Helen测试集的消融研究。

在这里插入图片描述

用最先进的方法进行定性和定量比较。

在这里插入图片描述

在DICNet提供的Helen测试数据集上，PFSRNet，DICNet和SPARNet之间的视觉比较。所有结果均由CelebA训练的公共模型生成。 PFSRNet对于未对齐的测试面会产生不良结果。 SPARNet产生比DICNet更好的关键面部组件，尤其是在眼睛中。

在这里插入图片描述

在合成数据集CelebAHQ-Test（第一行）和实际数据seesCelebA-TestN（第二行）上对SPARNetHD中使用的损耗进行消融研究。

在这里插入图片描述
在合成数据集CelebAHQ-Test上，由SPARNetHD和其他方法产生的结果之间的视觉比较。
在这里插入图片描述
SPARNetHD和其他方法在真实LR数据集CelebA-TestN上产生的结果之间的视觉比较。

CVPR2023中super-resolution相关的文章
qq_20777119的博客
05-08 960
1 Activating More Pixels in Image Super-Resolution Transformer pytorch 混合注意力transformer，刷PSNR 2 N-Gram in Swin Transformers for Efficient Lightweight Image Super-Resolution pytorch transformer，轻量化 3 Omni Aggregation Networks for Li
CVPR 2023 超分辨率（super-resolution）方向上接收论文总结
yyywxk的博客
04-27 7435
从本届接收的论文来看，超分方向上目前主要聚焦于任意尺度超分（ Arbitrary-Scale SR）。
由三维面部先验指导的面部超级分辨率 （读书笔记）
阿里山踟蹰
09-03 1252
主要贡献：背景：最先进的（State-of-the-art）面部超分辨率方法采用深度卷积神经网络（deep convolutional neural networks ），通过探索局部外观知识来学习低分辨率和高分辨率面部模式之间的映射。（mapping)痛点：这些方法大多不能很好地利用面部结构和身份信息identity information），并且难以处理表现出巨大姿态变化（large pose variations）的面部图像。解决：我们提出了一种新的面部超分辨率方法，
「Deep Learning」Note on Face Super-Resolution
小锋子Shawn
06-02 685
Sina Weibo：小锋子Shawn Tencent E-mail：403568338@qq.com http://blog.youkuaiyun.com/dgyuanshaofeng/article/details/80529614 FSRNet FSRGAN [1] FSRNet End-to-End Learning Face Super-Resolution with Facial P...
Face Super-resolution Guided by Facial Component Heatmaps
qq_37122156的博客
03-29 770
Face Super-resolution Guided by Facial Component Heatmaps 2020 ECCV1、引言2、网络结构3、损失函数4、实验结果与最新方法的比较消融实验 题目：人脸分量热图引导下的人脸超分辨率 1、引言 主要思想 最先进的人脸超分辨率方法利用深度卷积神经网络通过探索局部外观信息来学习低分辨率(LR)面部图案与其对应的高分辨率(HR)面部图案之间的映射。然而，这些方法中的大多数都没有考虑到面部结构，并且由于大量的姿势变化和错位而导致退化。 本文提出了一种利用
Face Super-Resolution Reconstruction Based on Self-Attention Residual Network
qq_37122156的博客
03-23 712
Face Super-Resolution Reconstruction Based on Self-Attention Residual Network 20201、引言2、网络结构3、损失函数4、实验结果 on Self-Attention Residual Network 2020) 题目：基于自注意残差网络的人脸超分辨率重建 1、引言 主要内容 针对基于卷积神经网络的人脸图像超分辨率重建方法存在的特征提取规模单一、特征利用率低、人脸图像纹理模糊等问题，提出了一种将卷积神经网络与自注意机制相结合的人
DIC(Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark)
huanhuanyouxixi的博客
11-07 1399
文章题目： Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation 文章地址：https://arxiv.org/pdf/2003.13063.pdf 项目地址：https://github.com/Maclory/Deep-Iterative-Collaboration Abstract： 现有的方法并没有充分利用先验知识，因为先验知识（l
SPARNet（2020.12.4IEEE）论文阅读笔记
不要回答的博客
01-28 1606
题目：Learning Spatial Attention for FaceSuper-Resolution 中文：学习空间注意力以实现人脸超分辨率 摘要 常规图像超分辨率技术在应用**【缺点】低分辨率面部图像时难以恢复详细的面部结构。通过与其他任务（例如人脸解析和界标预测）共同训练，针对人脸图像量身定制的最新基于深度学习的方法已经实现了改进的性能。但是，多任务学习需要额外的手动标记数据。此外，大多数现有的工作扫描仅产生相对低分辨率的面部图像（例如128×128），因此其应用受到限制。在本文中，我们介绍
Survey on Single-Image-Super-Resolution
zhangjf26的博客
08-23 3105
Single-Image-Super-Resolution A list of resources for example-based single image super-resolution, inspired by Awesome-deep-vision and Awesome Computer Vision . Example-based methods Early learning...
Pyramid With Super Resolution for In-The-Wild Facial Expression Recognition
qq_45786703的博客
02-20 1715
论文翻译摘要一、介绍新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 摘要 人脸表情识别是提高自然人机交互的一项具有挑战性的任务。本文主要研究的是一张在野外(ITW)图像上的自动表情识别。ITW图像在姿态、方向和输入分辨率方
A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications_简单总结
m0_37569924的博客
03-10 1821
SR_简单总结 ① GANrecursive networkResidual networkCNNAUTO ENCODERELSE SR_简单总结 ① ) GAN GANISRGAN: Improved Super-Resolution Using Generative Adversarial Networks （CVC) G-GANISR: Gradual generative adversa...
2-9 什么是端到端的深度学习？
diyudong4681的博客
11-04 436
什么是端到端的深度学习？（What is end-to-end deep learning?） 端到端学习到底是什么呢？简而言之， 以前有一些数据处理系统或者学习系统，它们需要多个阶段的处理。那么端到端深度学习就是忽略所有这些不同的阶段，用单个神经网络代替它。 以语音识别为例，你的目标是输入x，比如说一段音频，然后把它映射到一个输出y，就是这段音频的听写文本。所以和这种有很多阶段的流...
PCA-SRGAN: Incremental Orthogonal Projection Discrimination for Face Super-resolution
qq_34049103的博客
06-05 551
这篇文章主要阐述了利用生成对抗网络对人脸进行超分辨率重建过程中，会产生图像失真等问题，并提出将PCA引入生成对抗网络中，利用PCA降维后不同维度的图片（含不同程度的纹理特征信息），维度越高信息频率越高，由此这篇文章的整体思路与利用sobel算子及利用梯度图恢复纹理信息的思路相似。 首先对PCA进行说明，PCA多用于对数据进行降维处理，并提取出一系列数据中的主要数据。 如上图数据主要分布在X2方向，X1方向的数据分布取值大致相同，这种情况下可以去掉X1这一维度去掉，从而实现了降维和提取主成分，然而现实中大部
MSFSR: 一种通过增强人脸边界精确表示人脸的多级人脸超分辨率算法（读书笔记）
阿里山踟蹰
06-01 1346
MSFSR: A Multi-Stage Face Super-Resolution with Accurate Facial Representation via Enhanced Facial Boundaries 2020 CVPR MSFSR：一种通过增强人脸边界精确表示人脸的多级人脸超分辨率算法 1、摘要 大部分人脸超分辨（Face Super-Resolution (FSR)）方法通过使用特殊的脸部先验作为引导，在给定的低分辨率（LR）超级分辨率为高分辨率...
人脸超分辨率阅读论文汇总
qq_37122156的博客
03-13 4401
人脸超分辨率论文阅读汇总1、FSRNet: End-to-End Learning Face Super-Resolution with Facial Priors2、Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation3、Attention-Aware Face Hallucination via Deep Reinforcement Learni
推荐文章：FSRNet - 面部超分辨率重建的利器
最新发布
gitblog_00072的博客
05-25 398
推荐文章：FSRNet - 面部超分辨率重建的利器 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 在图像处理领域，提升低分辨率面部图像的质量一直是一项极具挑战性的任务。FSRNet（Face Super-Resolution Network）是一个开源项目，专为此目的而设计，它通过深度学习技术实现了面部超分辨率重建，能将低清人脸图片转化为高清细节丰富的图像。这个...
SAAN: SEMANTIC ATTENTION ADAPTATION NETWORK FOR FACE SUPER-RESOLUTION
qq_37122156的博客
03-14 816
SAAN: SEMANTIC ATTENTION ADAPTATION NETWORK FOR FACE SUPER-RESOLUTION 2020 ICME1、引言2、网络结构3、损失函数4、实验结论 1、引言 主要思想 人脸超分辨率（Face SR）是SR的一个子域，可从低分辨率的人脸图像中重建高分辨率的人脸图像。人脸的先验知识被广泛用于恢复更真实的人脸细节，这将增加网络的复杂性，并在训练和评估阶段引入额外的知识提取过程。 在以前提出的方法中人脸先验知识提取网络是独立训练的，这阻碍了它的更新以提取更多
DICGAN(CVPR2020，人脸SR)Deep Face Super-Resolution with Iterative Collaboration between Attentive Recov
qq_20777119的博客
05-29 3295
Deep Face Super-Resolution with Iterative Collaboration between Attentive Recovery and Landmark Estimation 文章地址：https://arxiv.org/pdf/2003.13063.pdf 项目地址：https://github.com/Maclory/Deep-Iterative-Collaboration 本文与SPSR(cvpr2020)是同一作者，清华大学自动化学院。 人脸超分辨...
Super-FAN论文阅读笔记
不要回答的博客
02-05 789
题目:Super-FAN: Integrated facial landmark localization and super-resolution ofreal-world low resolution faces in arbitrary poses with GANs 中文:Super-FAN：使用GAN在任意姿势下集成了面部界标定位和超高分辨率的现实世界低分辨率面孔 摘要 本文解决了两个具有挑战性的任务：提高低分辨率面部图像的质量，并在此类分辨率较差的图像上准确定位面部标志。为此，我们做出了以下
Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform
04-05
Image super-resolution (SR) is the process of increasing the resolution of a low-resolution (LR) image to a higher resolution (HR) version. This is an important task in computer vision and has many practical applications, such as improving the quality of images captured by low-resolution cameras or enhancing the resolution of medical images. However, most existing SR methods suffer from a loss of texture details and produce overly smooth HR images, which can result in unrealistic and unappealing results. To address this issue, a new SR method called Deep Spatial Feature Transform (DSFT) has been proposed. DSFT is a deep learning-based approach that uses a spatial feature transform layer to recover realistic texture in the HR image. The spatial feature transform layer takes the LR image and a set of HR feature maps as input and transforms the features to a higher dimensional space. This allows the model to better capture the high-frequency details in the image and produce more realistic HR images. The DSFT method also employs a multi-scale approach, where the LR image is processed at multiple scales to capture both local and global features. Additionally, the model uses residual connections to improve the training process and reduce the risk of overfitting. Experimental results show that DSFT outperforms state-of-the-art SR methods in terms of both quantitative metrics and visual quality. The method is also shown to be robust to different noise levels and image degradation scenarios. In summary, DSFT is a promising approach for realistic texture recovery in image super-resolution. Its ability to capture high-frequency details and produce visually appealing HR images makes it a valuable tool for various applications in computer vision.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值