learning5201的博客

【VLP（Visual-Linguistic Pretraining）模型相关基本知识】

learning5201 — Tue, 23 Apr 2024 18:06:17 +0800

关于输入嵌入（Input Embedding），图像编码器（Image Encoder），文本编码器（Text Encoder），Transformer编码器（Transformer Encoder），跨模态注意力（Cross-Modal Attention），解码器（Decoder），视觉推理（Visual Reasoning），双向交互模块（Bi-Directional Interaction Module）跨模态注意力层用于图像和文本之间的交互，即图像特征与文本特征之间的关系。

Invertible Image Signal Processing 可逆图像信号处理

learning5201 — Wed, 16 Nov 2022 18:47:04 +0800

摘要未经处理的 RAW 数据是一种非常有价值的图像格式，可用于图像编辑和计算机视觉。然而，由于 RAW 数据的文件大小巨大，大多数用户只能访问经过处理和压缩的 sRGB 图像。为了弥合这一差距，我们设计了一个可逆图像信号处理 (InvISP) 管道，它不仅可以渲染视觉上吸引人的 sRGB 图像，还可以恢复近乎完美的 RAW 数据。由于我们框架固有的可逆性，我们可以重建逼真的 RAW 数据，而不是从 sRGB 图像合成 RAW 数据，而无需任何内存开销。我们还集成了一个可区分的 JPEG 压缩模拟器，使我们

LAN: Lightweight Attention-based Network for RAW-to-RGB Smartphone Image Processing LAN：用于 RAW 到 RGB

learning5201 — Tue, 15 Nov 2022 16:49:26 +0800

摘要智能手机拍摄的照片数量呈指数级增长。然而，智能手机在尺寸和成本方面的局限性对所采用传感器的质量产生了负面影响。与此同时，他们的计算能力也在稳步提升，允许使用更复杂的处理方法来增强图像。在之前的工作中，与传统和手工制作的方法相比，使用匹配的传感器输出和 DSLR 图像训练的深度神经网络已经显示出可以显着改善图像。我们提出了一种基于注意力的轻量级网络 (LAN)，它采用卷积层来学习输入镶嵌和无监督预训练策略。我们的方法在标准基准测试中得到验证，并证明在感知和保真度方面都优于最先进的方法，而不会影响智能手机

【Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision通过不准确对齐的监督学习 RAW 到 sRGB 的映射】

learning5201 — Tue, 08 Nov 2022 18:36:46 +0800

摘要学习 RAW 到 sRGB 映射近年来引起了越来越多的关注，其中训练输入的原始图像以模仿另一台相机捕获的目标 sRGB 图像。然而，严重的颜色不一致使得生成输入原始和目标 sRGB 图像的良好对齐训练对非常具有挑战性。虽然使用不准确对齐的监督进行学习很容易导致像素偏移并产生模糊的结果。在本文中，我们通过提出一种用于图像对齐和 RAW 到 sRGB 映射的联合学习模型来规避这个问题。为了减少图像对齐中颜色不一致的影响，我们引入了使用全局颜色映射（GCM）模块在给定输入原始图像的情况下生成初始 sRGB

【Semi-Supervised Raw-to-Raw Mapping 半监督 Raw-to-Raw 映射】

learning5201 — Thu, 03 Nov 2022 15:59:49 +0800

具体来说，我们提出了一种半监督的原色到原色的映射方法，该方法是在一小部分配对的图像以及由每个相机设备拍摄的未配对的图像集上训练出来的。我们的数据集包括用于我们的半监督训练和评估的无配对和有配对的集合。为了避免在采用新的传感器时产生新的标记数据，最近的工作[18]提出将新的传感器原始图像的颜色直方图映射到用于训练照度估计相机ISP模块的原始传感器空间。图1显示了一个 "通用相机ISP "的想法的例子，我们用我们的方法将iPhone的原始图像映射到目标传感器后，通过一个为渲染三星原始图像而设计的ISP渲染。

深度学习中模块设计汇总（一）

learning5201 — Thu, 25 Aug 2022 18:09:30 +0800

2.1离散小波逆变换 Inverse discrete wavelet transform (IDWT)全局上下文 res-dense 模块包含一个残差密集块 (RDB) 和一个全局上下文块 (GCB)DWT 的本质是将输入特征图分解为高频和低频分量，离散小波变换（DWT）上采样和下采样。1.全局上下文 res-dense 模块。1.2 全局上下文块 (GCB)1.1 残差密集块 (RDB)2.离散小波变换（DWT）............

AIM 2020 Challenge on Learned Image Signal Processing Pipeline（个人笔记，勿喷）

learning5201 — Wed, 24 Aug 2022 17:24:38 +0800

摘要本文回顾了第二届AIM学习型ISP挑战赛，并对提出的解决方案和结果进行了描述。参赛团队正在解决一个真实世界的RAW-RGB映射问题，目标是将华为P20设备拍摄的原始低质量RAW图像映射到用佳能5D单反相机拍摄的相同照片。所考虑的任务包含了许多复杂的计算机视觉子任务，如图像去马赛克、去噪、白平衡、颜色和对比度校正、去噪等。这项挑战中使用的目标指标将保真度分数（PSNR和SSIM）与用户研究中测量的解决方案的感知结果结合起来。所提出的解决方案大大改善了基线结果，定义了实用图像信号处理管道建模的最先进水平。

【CycleISP: Real Image Restoration via Improved Data Synthesis】ISP论文--1(个人笔记，勿喷)

learning5201 — Tue, 23 Aug 2022 17:34:24 +0800

摘要大规模数据集的可用性有助于释放深度卷积神经网络 (CNN) 的真正潜力。然而，对于单图像去噪问题，捕获真实数据集是一个无法接受的昂贵和繁琐的过程。因此，图像去噪算法主要是在合成数据上开发和评估的，这些合成数据通常是在广泛假设加性高斯白噪声 (AWGN) 的情况下生成的。尽管 CNN 在这些合成数据集上取得了令人印象深刻的结果，但正如最近的基准数据集所报告的那样，它们在应用于真实相机图像时表现不佳。这主要是因为 AWGN 不足以模拟真实的相机噪声，这种噪声是信号相关的并且由相机成像管道进行大量转换。在本

Beyond Joint Demosaicking and Denoising: An Image Processing Pipeline for a Pixel-bin Image Sensor

learning5201 — Wed, 17 Aug 2022 16:16:46 +0800

最重要的是，我们扩展了建议的图像处理管道，以全面重建和增强使用像素合并技术的智能手机相机捕获的图像。提议的 PIPNet 的生成器在不同的特征深度之间遍历以利用类似 UNet 的结构 d = (64, 126, 256)，其中提议网络的 GDAB 块包括 m = 3 个 DAB 块（也称为组密度后面的部分）。图 3 描述了所提出的方法的概述，包括新的 PIPNet 架构。在这里，所提出的网络利用特征相关性，也称为注意机制 [14,40,8]，通过 U-Net [33] 中的新组件（如架构）来减轻视觉伪影。.

AWNet: Attentive Wavelet Network for Image ISP AWNet：图像 ISP 的注意力小波网络（个人笔记，勿喷）

learning5201 — Tue, 16 Aug 2022 16:43:14 +0800

抽象的。随着过去十年智能手机性能的革命性提升，手机摄影成为广大智能手机用户最普遍的做法之一。然而，由于手机上相机传感器的尺寸有限，所拍摄的图像在视觉上仍然与数码单反 (DSLR) 相机拍摄的图像不同。为了缩小这一性能差距，一种是重新设计相机图像信号处理器（ISP）以提高图像质量。由于深度学习的迅速兴起，最近的工作求助于深度卷积神经网络 (CNN) 来开发一种复杂的数据驱动 ISP，该 ISP 将手机捕获的图像直接映射到 DSLR 捕获的图像。在本文中，我们介绍了一种利用注意力机制和小波变换的新型网络，称为

【Gated Context Aggregation Network for Image Dehazing and Deraining用于图像去雾和去雨的门控上下文聚合网络】，个人笔记，勿喷

learning5201 — Tue, 02 Aug 2022 17:38:27 +0800

摘要图像去雾旨在从模糊图像中恢复未损坏的内容。我们没有利用传统的低级或手工图像先验作为恢复约束，例如暗通道和增加的对比度，而是提出了一个端到端的门控上下文聚合网络来直接恢复最终的无雾图像。在这个网络中，我们采用最新的平滑扩张技术来帮助消除由广泛使用的扩张卷积引起的网格化伪影，额外参数可忽略不计，并利用门控子网络融合不同层次的特征。大量实验表明，我们的方法可以在数量和质量上大大超过以前的最先进方法。此外，为了证明所提出方法的通用性，我们进一步将其应用于图像去雨任务，这也达到了最先进的性能...

A Comprehensive Survey and Taxonomy on Image Dehazing Based on Deep Learning（学习笔记，不喜勿喷）

learning5201 — Fri, 15 Jul 2022 16:16:48 +0800

基于深度学习的图像去雾综合调查与分类摘要随着卷积神经网络的发展，已经提出了数百种基于深度学习的去雾方法。在本文中，我们对有监督、半监督和无监督去雾进行了全面调查。我们首先讨论常用的物理模型、数据集、网络模块、损失函数和评估指标。然后，对各种去雾算法的主要贡献进行了分类和总结。此外，还进行了各种基线方法的定量和定性实验。最后，指出了可以启发未来研究的未解决问题和挑战。 https://github.com/Xiaofeng-life/AwesomeDehazing 提供了一系列有用的除雾材料。 1 引言

Low-Light Image Enhancement with Normalizing Flow(个人笔记，可以讨论，不要喷)

learning5201 — Fri, 24 Jun 2022 09:36:48 +0800

Low-Light Image Enhancement with Normalizing Flow 2.2 Normalizing flow 归一化流是通过一系列可逆和可微映射（Kobyzev、Prince 和 Brubaker 2020）将简单概率分布（例如标准正态）转换为更复杂的分布。同时，样本的概率密度函数（PDF）值可以通过将其转换回简单分布来精确获得。为了使网络可逆和计算易于处理，需要仔细设计网络的层，以便可以轻松获得雅克比矩阵的求逆和行列式，这限制了生成模型的容量。为此，已经提出了许多强大的变换

【PSD: Principled Synthetic-to-Real Dehazing Guided by Physical Priors】(个人笔记，勿喷)

learning5201 — Mon, 20 Dec 2021 09:20:55 +0800

PSD: Principled Synthetic-to-Real Dehazing Guided by Physical Priors PSD：由物理先验指导的有原则的合成到真实去雾图2. 拟议的PSD框架的概述。我们的模型由一个主干、一个物理兼容的头和一个大气光估计网络（A-net）组成。我们用合成图像对模型进行预训练，然后用合成和真实的朦胧图像对模型进行微调，并由来自几个物理先验的代理损失委员会指导。 2.2.无监督域适应无监督领域适应旨在解决源域和目标域之间的领域转移，而目标域中的图像是没有标

vscode + ssh（openssh ，git）方法进行远程服务器链接（实现代码开发）

learning5201 — Mon, 13 Dec 2021 20:13:35 +0800

vscode + ssh（openssh ，git）方法进行远程服务器链接（实现代码开发）前言必看：为什么写该博文？我自己在搭建VScode +ssh 进行远程服务器链接是出现很多问题，通过百度查阅的资料五花八门，因为在安装过程中有太多因素都可能决定安装成功或者失败。往往出现一种状况就是，当我们VScode 出现问题后就根据问题去找答案，但是成不成功往往取决于运气，所以我们并没有正正解决问题，我认为有一个正确的安装流程很重要。所以当你遇到问题实在无法解决不妨根据我的方法重来一次下面将介绍我的安

面试题13:机器人的运动范围

learning5201 — Thu, 28 Oct 2021 22:55:43 +0800

题目:地上有一个m行n列的方格。一个机器人从坐标(0，0)的格子开始移动，它每次可以向左、右、上、下移动一格，但不能进入行坐标和列坐标的数位之和大于k的格子。例如，当k为18时，机器人能够进入方格 (35, 37)，因为3+5+3+7-18。但它不能进入方格(35, 38)，因为3+5+3+8-19。请问该机器人能够到达多少个格子? 和前面的题目类似，这个方格也可以看作-一个 mXn的矩阵。同样，在这个矩阵中，除边界上的格子之外，其他格子都有4个相邻的格子。机器人从坐标(0，0)开始移动。当它准备进

面试题12:矩阵中的路径

learning5201 — Thu, 28 Oct 2021 22:53:22 +0800

题目:请设计一个函数，用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一格开始，每一步可以在矩阵中向左、右、上、下移动一格。如果一条路径经过了矩阵的某一格，那么该路径不能再次进入该格子。例如，在下面的3<4的矩阵中包含一条字符串“bfce”的路径(路径中的字母用下画线标出)。但矩阵中不包含字符串“abfb”的路径，因为字符串的第一个字符b占据了矩阵中的第一行第二个格子之后，路径不能再次进入这个格子。这是一个可以用回溯法解决的典型题。首先，在矩阵中任选一

面试题11:旋转数组的最小数字

learning5201 — Thu, 28 Oct 2021 22:49:53 +0800

题目:把一个数组最开始的若千个元素搬到数组的末尾，我们称之为数组的旋转。输入一个递增排序的数组的一个旋转，输出旋转数组的最小元素。例如，数组{3,4,5,1,2}为{1,2, 3,4, 5}的一个旋转，该数组的最小值为1。我们注意到旋转之后的数组实际上可以划分为两个排序的子数组，而且前面子数组的元素都大于或者等于后面子数组的元素。我们还注感到最小的元素刚好是这两个子数组的分界线。在排序的数组中我们可以用二分查找法实现Olog)的查找。本题给出的数组在一定程度上是排序的，因此我们可以试着用二

面试题10:斐波那契数列

learning5201 — Thu, 28 Oct 2021 22:42:47 +0800

题目一:求斐波那契数列的第n项。写一个函数，输入n,求斐波那契(Fibonacci)数列的第n项。斐波那契数列的定义如下: # 面试题10 菲波那切数列 ''' 如果采用递归的话，数字过大会导致栈溢出。有一个办法就是讲计算的结果保存下来，不需要重复计算，这样能优化一下性能。但还是推荐非递归版本。 ''' def Fibonacci_Recursion(num): if num<=0: return 0 elif num ==1: return 1

面试题9:用两个栈实现队列

learning5201 — Thu, 28 Oct 2021 22:40:46 +0800

题目:用两个栈实现二个队列。队列的声明如下，请实现它的两个函数appendTail 和deleteHead, 分别完成在队列尾部插入节点和在队列头部删除节点的功能从上述队列的声明中可以看出，一个队列包含了两个栈stack1 和 stack2，因此这道题的意图是要求我们操作这两个“先进后出”的栈实现一个“先进先出”的队列CQueue。我们通过个具体的例子来分析往该队列插入和删除元素的过程。首先插入一一个元素a,不妨先把它插入stack1, 此时stack1 中的元素有{a}， stack2为空。