【图像超分辨率重建】——“SISR 中的Edge-Based 损失函数”论文精读

2018-Edge-Based Loss Function For Single Image Super Resolution

基本信息

作者： George Seif, Dimitrios Androutsos
期刊： IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)
引用： 10
摘要： 近年来，卷积神经网络在单幅图像的超分辨率任务上表现出最先进的性能。尽管这些提出的网络显示了高质量的重建结果，但使用均方误差（MSE）损失函数进行训练往往会产生过于平滑和模糊的图像。MSE没有考虑图像结构，而这些结构对于实现人类感知的高图像质量往往是很重要的。我们提出了一个新的基于边缘的损失函数来改善图像的超分辨率重构。我们的损失函数直接优化了重建图像的边缘像素，从而驱动训练有素的网络产生高质量的突出边缘，从而使图像更加清晰。大量的定量和定性结果表明，我们提出的损失函数明显优于MSE。

1.简介

• MSE的缺陷：在基于深度学习的超分辨中，大部分都使用MSE损失函数，虽然基于MSE的损失函数已经显示出前景，但它们确实存在一些缺点。已经证明MSE与人类观察者判断的感知质量没有很好的相关性，这是因为MSE没有考虑到图像中嵌入的任何突出特征。突出的特征，如结构和纹理，已被证明与人类感知的图像质量高度相关，并且对计算机视觉任务非常有用。如果没有这些结构，网络就没有上下文的指导来重建图像，而只能依靠原始像素值。
• 最近提出的新的损失函数：基于特征的损失函数，MAE+MSE+MS-SSIM组合损失，边缘图像与SR图像的MSE作损失等。
• 本文提出的损失函数：在上述提出的损失上进行改进，提出边缘损失，使图像边缘得到了更大的重视。

2.边缘损失函数

2.1.方法

• 像素损失成分促进了重建图像的整体准确性，即像素值与原始图像的值直接相似。这确保了图像的颜色、光照或整体对比度没有重大变化。
• 结构损失部分指导网络产生突出的图像结构，这些结构对人类观察者来说被认为是重要的感知。特别是，我们建议使用边缘作为我们结构损失的基础。

边缘损失

${\text{ loss }}_{\text{edges }}=\frac{{\sum }_{}}{WH}$