Zoom to Learn, Learn to Zoom---阅读笔记

链接：https://ceciliavision.github.io/project-pages/project-zoom.html

一、简介

    概述：现有的基于学习的超分辨率方法不使用真实的传感器数据，而是对经过处理的RGB图像进行操作。我们表明，这些方法丧失了对原始数据进行操作所能获得的细节和准确性，尤其是在放大远处物体时。使用真实的传感器数据进行训练的关键障碍是缺少ground-truth的高分辨率图像。我们展示了如何通过光学变焦获得这样的ground truth数据，并为真实的计算变焦提供一个数据集SR-RAW。我们使用SR-RAW来训练一个深度网络，该网络具有一种新的上下文双边损失，对输入和输出图像之间的轻微失调具有很强的鲁棒性。

贡献：

•     我们演示了使用真实的高位传感器数据进行计算变焦的实用性，而不是处理8位RGB图像或合成传感器模型。

•     我们介绍了一种新的数据集SR-RAW，它是第一个具有光学ground truth的超分辨率原始数据集。SR-RAW是用变焦镜头拍摄的。对于焦距较短的图像，长焦距图像作为光学ground truth。

•     我们提出了一种新的上下文双边损失(CoBi)处理稍微失调的图像对。CoBi用加权空间意识来考虑局部上下文相似性。

二、主要内容

1、Dataset With Optical Zoom Sequences

1.1 Data Capture with a Zoom Lens

•  我们使用24-240毫米变焦镜头来收集不同光学变焦水平的原始图像对。每对图像形成一个输入-输出对，用于训练模型:以短焦距原始传感器图像作为输入，