learning5201的博客

摘要未经处理的 RAW 数据是一种非常有价值的图像格式，可用于图像编辑和计算机视觉。然而，由于 RAW 数据的文件大小巨大，大多数用户只能访问经过处理和压缩的 sRGB 图像。为了弥合这一差距，我们设计了一个可逆图像信号处理 (InvISP) 管道，它不仅可以渲染视觉上吸引人的 sRGB 图像，还可以恢复近乎完美的 RAW 数据。由于我们框架固有的可逆性，我们可以重建逼真的 RAW 数据，而不是从 sRGB 图像合成 RAW 数据，而无需任何内存开销。我们还集成了一个可区分的 JPEG 压缩模拟器，使我们

摘要智能手机拍摄的照片数量呈指数级增长。然而，智能手机在尺寸和成本方面的局限性对所采用传感器的质量产生了负面影响。与此同时，他们的计算能力也在稳步提升，允许使用更复杂的处理方法来增强图像。在之前的工作中，与传统和手工制作的方法相比，使用匹配的传感器输出和 DSLR 图像训练的深度神经网络已经显示出可以显着改善图像。我们提出了一种基于注意力的轻量级网络 (LAN)，它采用卷积层来学习输入镶嵌和无监督预训练策略。我们的方法在标准基准测试中得到验证，并证明在感知和保真度方面都优于最先进的方法，而不会影响智能手机

摘要学习 RAW 到 sRGB 映射近年来引起了越来越多的关注，其中训练输入的原始图像以模仿另一台相机捕获的目标 sRGB 图像。然而，严重的颜色不一致使得生成输入原始和目标 sRGB 图像的良好对齐训练对非常具有挑战性。虽然使用不准确对齐的监督进行学习很容易导致像素偏移并产生模糊的结果。在本文中，我们通过提出一种用于图像对齐和 RAW 到 sRGB 映射的联合学习模型来规避这个问题。为了减少图像对齐中颜色不一致的影响，我们引入了使用全局颜色映射（GCM）模块在给定输入原始图像的情况下生成初始 sRGB

具体来说，我们提出了一种半监督的原色到原色的映射方法，该方法是在一小部分配对的图像以及由每个相机设备拍摄的未配对的图像集上训练出来的。我们的数据集包括用于我们的半监督训练和评估的无配对和有配对的集合。为了避免在采用新的传感器时产生新的标记数据，最近的工作[18]提出将新的传感器原始图像的颜色直方图映射到用于训练照度估计相机ISP模块的原始传感器空间。图1显示了一个 "通用相机ISP "的想法的例子，我们用我们的方法将iPhone的原始图像映射到目标传感器后，通过一个为渲染三星原始图像而设计的ISP渲染。

摘要本文回顾了第二届AIM学习型ISP挑战赛，并对提出的解决方案和结果进行了描述。参赛团队正在解决一个真实世界的RAW-RGB映射问题，目标是将华为P20设备拍摄的原始低质量RAW图像映射到用佳能5D单反相机拍摄的相同照片。所考虑的任务包含了许多复杂的计算机视觉子任务，如图像去马赛克、去噪、白平衡、颜色和对比度校正、去噪等。这项挑战中使用的目标指标将保真度分数（PSNR和SSIM）与用户研究中测量的解决方案的感知结果结合起来。所提出的解决方案大大改善了基线结果，定义了实用图像信号处理管道建模的最先进水平。

摘要大规模数据集的可用性有助于释放深度卷积神经网络 (CNN) 的真正潜力。然而，对于单图像去噪问题，捕获真实数据集是一个无法接受的昂贵和繁琐的过程。因此，图像去噪算法主要是在合成数据上开发和评估的，这些合成数据通常是在广泛假设加性高斯白噪声 (AWGN) 的情况下生成的。尽管 CNN 在这些合成数据集上取得了令人印象深刻的结果，但正如最近的基准数据集所报告的那样，它们在应用于真实相机图像时表现不佳。这主要是因为 AWGN 不足以模拟真实的相机噪声，这种噪声是信号相关的并且由相机成像管道进行大量转换。在本

最重要的是，我们扩展了建议的图像处理管道，以全面重建和增强使用像素合并技术的智能手机相机捕获的图像。提议的 PIPNet 的生成器在不同的特征深度之间遍历以利用类似 UNet 的结构 d = (64, 126, 256)，其中提议网络的 GDAB 块包括 m = 3 个 DAB 块（也称为组密度后面的部分）。图 3 描述了所提出的方法的概述，包括新的 PIPNet 架构。在这里，所提出的网络利用特征相关性，也称为注意机制 [14,40,8]，通过 U-Net [33] 中的新组件（如架构）来减轻视觉伪影。.

抽象的。随着过去十年智能手机性能的革命性提升，手机摄影成为广大智能手机用户最普遍的做法之一。然而，由于手机上相机传感器的尺寸有限，所拍摄的图像在视觉上仍然与数码单反 (DSLR) 相机拍摄的图像不同。为了缩小这一性能差距，一种是重新设计相机图像信号处理器（ISP）以提高图像质量。由于深度学习的迅速兴起，最近的工作求助于深度卷积神经网络 (CNN) 来开发一种复杂的数据驱动 ISP，该 ISP 将手机捕获的图像直接映射到 DSLR 捕获的图像。在本文中，我们介绍了一种利用注意力机制和小波变换的新型网络，称为

摘要图像去雾旨在从模糊图像中恢复未损坏的内容。我们没有利用传统的低级或手工图像先验作为恢复约束，例如暗通道和增加的对比度，而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像。在这个网络中，我们采用最新的平滑扩张技术来帮助消除由广泛使用的扩张卷积引起的网格化伪影，额外参数可忽略不计，并利用门控子网络融合不同层次的特征。大量实验表明，我们的方法可以在数量和质量上大大超过以前的最先进方法。此外，为了证明所提出方法的通用性，我们进一步将其应用于图像去雨任务，这也达到了最先进的性能...

基于深度学习的图像去雾综合调查与分类摘要随着卷积神经网络的发展，已经提出了数百种基于深度学习的去雾方法。在本文中，我们对有监督、半监督和无监督去雾进行了全面调查。我们首先讨论常用的物理模型、数据集、网络模块、损失函数和评估指标。然后，对各种去雾算法的主要贡献进行了分类和总结。此外，还进行了各种基线方法的定量和定性实验。最后，指出了可以启发未来研究的未解决问题和挑战。 https://github.com/Xiaofeng-life/AwesomeDehazing 提供了一系列有用的除雾材料。1 引言

Low-Light Image Enhancement with Normalizing Flow2.2 Normalizing flow归一化流是通过一系列可逆和可微映射（Kobyzev、Prince 和 Brubaker 2020）将简单概率分布（例如标准正态）转换为更复杂的分布。同时，样本的概率密度函数（PDF）值可以通过将其转换回简单分布来精确获得。为了使网络可逆和计算易于处理，需要仔细设计网络的层，以便可以轻松获得雅克比矩阵的求逆和行列式，这限制了生成模型的容量。为此，已经提出了许多强大的变换

PSD: Principled Synthetic-to-Real Dehazing Guided by Physical PriorsPSD：由物理先验指导的有原则的合成到真实去雾图2. 拟议的PSD框架的概述。我们的模型由一个主干、一个物理兼容的头和一个大气光估计网络（A-net）组成。我们用合成图像对模型进行预训练，然后用合成和真实的朦胧图像对模型进行微调，并由来自几个物理先验的代理损失委员会指导。2.2.无监督域适应无监督领域适应旨在解决源域和目标域之间的领域转移，而目标域中的图像是没有标

Abstract我们提出了 HERO，一种用于大规模视频 + 语言全方位表示学习的新框架。 HERO 在分层结构中编码多模态输入，其中视频帧的局部上下文由跨模态转换器通过多模态融合捕获，全局视频上下文由时间转换器捕获。除了标准的掩码语言建模 (MLM) 和掩码帧建模 (MFM) 目标之外，我们还设计了两个新的预训练任务：(i) 视频字幕匹配 (VSM)，其中模型预测全局和局部时间对齐； (ii) Frame OrderModeling (FOM)，其中模型预测打乱视频帧的正确顺序。HERO 在 HowTo

Abstract我们提出了用于视频识别的 SlowFast 网络。我们的模型涉及 (i) 以低帧速率运行的慢速路径，以捕获空间语义，以及 (ii) 以高帧速率运行以捕获精细时间分辨率的运动的快速路径。 Fast 路径可以通过减少其通道容量而变得非常轻量级，但可以学习用于视频识别的有用时间信息。 - 概念。我们在主要视频识别基准、Kinetics、Charades 和 AVA 上报告了最先进的准确性。1.Introduction在识别图像I(x,y)的过程中，通常会对两个空间维度x和y进行对称性处理。这

Abstract在自然语言用户查询的情况下，从视频中检测定制的时刻和亮点是一个重要但研究不足的话题。追求这一方向的挑战之一是缺乏注解数据。为了解决这个问题，我们提出了基于查询的视频亮点（QVHIGHLIGHTS）数据集。它由1万多个YouTube视频组成，涵盖了广泛的主题，从生活方式视频中的日常活动和旅行到新闻视频中的社会和政治活动。 数据集中的每个视频都有注释。 (1)人类编写的自由形式的NL查询，(2)视频中与查询相关的时刻，以及(3)所有与查询相关的片段的五分法显著性得分。这种全面的注释使我们能够开

Abstract自主亮点检测是提高社交媒体平台上视频浏览效率的关键。为了以数据驱动的方式实现这一目标，人们可能经常面临这样一种情况：在实践中使用的目标视频类别上没有高亮注释，而对另一个视频类别（称为源视频类别）可以实现监督。在这种情况下，通过将从源视频类别获得的高亮知识转移到目标视频类别，可以得到目标视频类别上有效的高亮检测器。我们将这个问题称为跨类别的视频高亮检测，这在以前的工作中很少被研究。为了解决这一实际问题，我们提出了一个基于双学习者的视频高显示检测(DL-VHD)框架。在此框架下，我们首先设计了

摘要尽管内置智能手机相机的质量迅速提高，但它们的物理限制——传感器尺寸小、镜头紧凑和缺乏特定硬件——阻碍了它们实现单反相机的质量结果。在这项工作中，我们提出了一种端到端的深度学习方法，通过将普通照片转换为 DSLR 质量的图像来弥合这一差距。我们建议使用残差卷积神经网络来学习翻译函数，该网络可同时提高色彩再现和图像清晰度。由于标准均方损失不太适合测量感知图像质量，我们引入了一个复合感知误差函数，它结合了内容、颜色和纹理损失。前两个损失是通过分析定义的，而纹理损失是以对抗方式学习的。我们还展示了 DPED，

AbstractImproving the aesthetic quality of images is challenging and eager for the public. To address this problem, most existing algorithms are based on supervised learning methods to learn an automatic photo enhancer for paired data, which consis

Blind Face Restoration via Deep Multi-scale Component Dictionaries通过深度多尺度分量字典进行盲脸修复AbstractRecent reference-based face restoration methods have received considerable attention due to their great capability in recovering high-frequency details on real