Matrix_11-优快云博客

原创计算摄影资源汇总

计算摄影资源汇总计算摄影是一个交叉学科，融合了图像处理，光学，信号处理，计算机视觉，计算机图形学，优化，机器学习等各个领域，计算摄影最早在国外的大学里只是一个比较小众的研究方向，比如早期斯坦福大学的光场，相机阵列，以及杜克大学的多光谱成像等，基本还是停留在学术研究阶段，而且比起计算机领域的识别，检测，分割，跟踪等方向来说，计算摄影这块算是比较低调的一个研究方向。这些年，随着智能手机拍照的兴起，计算摄影也获得了越来越多的关注，因为以前的单反相机，尺寸比较大，所以长焦比拼的都是镜头模组的设计，sensor

2020-07-12 10:50:52 2851 2

原创机器学习笔记

博客专栏：机器学习PDF 文档下载地址：Machine Learning 学习笔记机器学习 scikit-learn 图谱人脸表情识别常用的几个数据库机器学习 F1-Score, recall, precision机器学习 DeepDreaming with TensorFlow (三)机器学习 DeepDreaming with TensorFlow (二)机器学习 DeepDre...

2015-02-05 19:01:01 5078

原创图像特效及滤镜算法汇总

OpenCV 版：OpenCV 图像处理图层混合算法：PS图层混合算法之一（不透明度，正片叠底，颜色加深，颜色减淡）PS图层混合算法之二（线性加深，线性减淡，变亮，变暗）PS图层混合算法之三（滤色，叠加，柔光，强光）PS图层混合算法之四（亮光，点光，线性光，实色混合）PS图层混合算法之五（饱和度，色相，颜色，亮度）PS图层混合算法之六（差值，溶解，排除）图像调整算法...

2015-01-15 17:41:34 17154 2

原创论文阅读：Continuous Optical Zooming A Benchmark for Arbitrary-Scale Image Super-Resolution in Real Worl

当前大多数任意尺度图像超分辨率（SR）方法通常依赖于由简单的合成退化模型（例如，双三次下采样）在连续的各种尺度下生成的模拟数据，因此在捕捉真实世界图像的复杂退化方面存在不足。这一局限性在将这些方法应用于真实世界图像时，会影响其视觉质量。为了解决这一问题，我们提出了连续光学变焦数据集（COZ），通过构建一个自动成像系统来收集特定范围内细粒度不同焦距下的图像，并提供严格的图像对配准。COZ 数据集可作为一个基准，为训练和测试任意尺度超分辨率模型提供真实世界的数据。

2025-04-05 17:10:29 446

原创论文阅读：GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring

要训练去模糊网络，拥有一个包含成对模糊图像和清晰图像的合适数据集至关重要。现有的数据集收集模糊图像的方式主要有两种：一种是通过合成的方式，将连续的清晰帧进行聚合；另一种是使用复杂的相机系统来捕捉真实的模糊图像。然而，这些方法要么在模糊类型（模糊轨迹）方面提供的多样性有限，要么需要大量的人力来重建大规模数据集，无法充分反映现实世界中的模糊场景。为解决这一问题，我们提出了 GS - Blur 数据集，这是一个采用新方法合成的逼真模糊图像数据集。

2025-03-30 18:57:08 838 1

原创论文阅读：Self-Supervised Video Defocus Deblurring with Atlas Learning

对焦不准的问题几乎在所有视频制作者的作品中都普遍存在，这会降低视频质量，并且常常导致高昂的时间成本（延误）以及需要重新拍摄。当前的自动对焦（AF）系统在面对现实场景和拍摄现场中常见的突发干扰因素时很脆弱，比如拍摄主体的移动或光线的变化。单张图像的散焦去模糊方法在应用于视频时在时间连贯性上表现不稳定，并且无法恢复那些因随时间变化的散焦模糊而被遮盖的细节。在本文中，我们提出了一种端到端的解决方案，该方案能让用户在后期处理过程中纠正对焦不准的问题。

2025-03-23 09:27:09 1168 1

原创论文阅读：Deep Hybrid Camera Deblurring for Smartphone Cameras

手机摄像头尽管取得了显著的进步，但由于传感器和镜头较为紧凑，在低光环境下的成像仍存在困难，这会导致曝光时间变长以及出现运动模糊的情况。传统的盲去卷积方法和基于学习的去模糊方法可能是消除模糊的潜在解决方案。然而，要达到实际应用中的良好性能仍然是一个挑战。为了解决这一问题，我们提出了一种基于学习的智能手机去模糊框架，将广角和超广角摄像头用作混合摄像头系统。我们同时拍摄一张长曝光的广角图像和一组短曝光的连拍超广角图像，并利用连拍的超广角图像对广角图像进行去模糊处理。

2025-03-16 09:10:21 1245 1

原创论文阅读：Versatile Vision Foundation Model for Image and Video Colorization

图像和视频上色是图像修复中最为常见的问题之一。这是一个不适定问题，人们已经提出了各种各样的方法，从较为传统的计算机视觉策略到基于 Transformer 或生成式神经网络模型的最新进展都有涉及。在这项工作中，我们展示了一个在文本到图像合成任务上预训练的潜在扩散模型，如何针对图像上色进行微调，并为各种场景提供灵活的解决方案：能够产生多样结果的高质量直接上色、通过颜色提示、文本提示或参考图像实现的用户引导式上色，以及最终的视频上色。

2025-03-09 10:04:21 1233 1

原创论文阅读：One-Step Effective Diffusion Network for Real-World Image Super-Resolution

由于具有强大的生成图像先验知识，预训练的文本转图像扩散模型越来越多地被用于解决现实世界中的图像超分辨率（Real - ISR）问题。现有的大多数方法都是从随机噪声出发，在给定的低质量（LQ）图像的引导下重建高质量（HQ）图像。尽管已经取得了不错的成果，但这类 Real - ISR 方法需要多个扩散步骤来重现高质量图像，从而增加了计算成本。与此同时，随机噪声给输出结果带来了不确定性，这对图像修复任务并不友好。为了解决这些问题，我们针对 Real - ISR 问题提出了一种单步高效扩散网络，即 OSEDiff。

2025-03-01 07:53:03 1313 1

原创论文阅读：Non-parametric Sensor Noise Modeling and Synthesis

本文提出了一种新颖的非参数传感器噪声模型，该模型可直接从拍摄图像中按强度级别构建概率质量函数。我们证明，与现有模型相比，我们的噪声模型能更精确地拟合真实传感器噪声。我们详细阐述了推导非参数噪声模型的拍摄流程，并介绍了一种插值方法，该方法可减少所需拍摄的感光度（ISO）级别数量。此外，我们提出了一种在无噪声图像不可得的情况下，对现有含噪图像合成噪声的方法。我们的噪声模型校准简单，在下游任务中相较于其他竞争噪声模型有显著改进。

2025-02-23 15:43:17 1399 1

原创论文阅读：Adaptive Domain Learning for Cross-domain Image Denoising

不同的相机传感器具有不同的噪声模式，因此在一个传感器上训练的图像去噪模型通常难以很好地适用于另一个传感器。一种可行的解决方案是为每个传感器收集大量数据集用于训练或微调，但这不可避免地很耗时。为了应对这一跨域挑战，我们提出了一种新颖的自适应域学习（ADL）方案，用于跨域原始图像去噪，该方案利用来自不同传感器（源域）的现有数据以及来自新传感器（目标域）的少量数据。ADL 训练方案会自动去除源域中对目标域模型微调有害的数据（由于域差距，某些数据在训练期间加入会降低性能，所以是有害的）。

2025-02-15 08:41:56 1711 1

原创扩散模型（三）

与 unCLIP 使用 CLIP 模型不同，Imagen（萨哈里亚等人，2022 年）使用预训练的大型语言模型（即固定的 T5-XXL 文本编码器）对用于图像生成的文本进行编码。为了生成高分辨率的高质量图像，霍等人（2021）提议采用由多个扩散模型组成的流水线，这些模型的分辨率逐步提高。皮布尔斯和谢，2023 年）在潜在图像块上进行操作，采用与潜在扩散模型（LDM）相同的设计空间。根据实验，这是 DiT 的最大优势之一，因为其性能随着计算量的增加而提升，并且更大的 DiT 模型计算效率更高。

2025-02-02 15:35:48 1860

原创扩散模型（二）

相关阅读：扩散模型（一）回想一下，我们需要训练一个神经网络来近似反向扩散过程中的条件概率分布，即, pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \boldsymbol{\Sigma}_\theta(\mathbf{x}_t, t))pθ(x

2025-02-02 15:32:13 2049

原创扩散模型（一）

在生成领域，迄今为止有几个主流的模型，分别是 GAN, VAE，Flow 以及 Diffusion 模型。上面几类模型它们在生成高质量样本方面取得了巨大成功，但每个模型都有其自身的局限性。生成对抗网络（GAN）模型因其对抗训练的特性，存在训练可能不稳定以及生成多样性不足的问题。变分自编码器（VAE）依赖替代损失。流模型（Flow）则必须使用专门的架构来构建可逆变换。扩散模型的灵感源自非平衡热力学。它们定义了一个扩散步骤的马尔可夫链，用于逐步向数据中缓慢添加随机噪声，然后学习逆转扩散过程，以便从噪声中构建出所

2025-02-02 15:29:53 1337

原创电磁波谱与图像

我们所处的世界，其实是被各种各样的电磁波所包围的，从我们能看到的可见光，到不可见的红外，以及紫外，X，Gamma 射线，还有信息传输中的无线电波，雷达波，都属于电磁波。。Ehf其中h表示普朗克常数，ffvλv表示波速，真空中就是光速，λ表示波长，因为波速是一个常数，所以f越大，则λ越小，对应来说，就是电磁波的频率越高，则波长越短。下图给出了按照频率划分的电磁波谱图：从上图可以看出，电磁波谱从高频的γ波段，一直到无线电波，横跨了1024。

2025-02-01 10:46:10 2322

原创论文阅读：Realistic Noise Synthesis with Diffusion Models

深度去噪模型需要大量来自现实世界的训练数据，而获取这些数据颇具挑战性。当前的噪声合成技术难以准确模拟复杂的噪声分布。我们提出一种新颖的逼真噪声合成扩散器（Realistic Noise Synthesis Diffusor，RNSD）方法，利用扩散模型来应对这些挑战。通过将相机设置编码到一种时间感知的相机条件仿射调制（time - aware camera - conditioned affine modulation，TCCAM）中，RNSD 能够在各种相机条件下生成更逼真的噪声分布。

2025-01-31 10:00:46 2100 1

原创论文阅读：AdaptiveISP Learning an Adaptive Image Signal Processor for Object Detection

图像信号处理器（ISPs）将原始传感器信号转换为数字图像，这对图像质量以及下游计算机视觉任务的性能有着显著影响。设计 ISP 处理流程和调整 ISP 参数是构建成像与视觉系统的两个关键步骤。为了找到最优的 ISP 配置，近期研究工作使用深度神经网络作为替代手段来搜索 ISP 参数或 ISP 处理流程。然而，这些方法主要旨在最大化图像质量，对于诸如检测、识别和跟踪等高阶计算机视觉任务的性能而言并非最优。此外，训练完成后，学到的 ISP 处理流程在推理阶段大多固定不变，在动态场景中其性能会下降。

2025-01-27 14:24:03 1497 1

原创论文阅读：CosAE Learnable Fourier Series for Image Restoration

本文介绍了余弦自动编码器（CosineAutoencoder,CosAE），这是一种新颖的通用自动编码器，它将经典傅里叶级数与前馈神经网络无缝结合。CosAE将输入图像表示为一系列二维余弦时间序列，每个序列由一组可学习的频率和傅里叶系数构成的元组定义。该方法与传统自动编码器形成鲜明对比，传统自动编码器在降低分辨率的瓶颈潜在空间中往往会牺牲细节。而CosAE在其瓶颈层对频率系数（即幅度和相位）进行编码。这种编码方式能够实现极高的空间压缩，例如，在瓶颈层将特征图下采样64倍，且解码时不会丢失细节。

2025-01-18 16:42:54 2033 1

原创论文阅读：Searching for Fast Demosaicking Algorithms

本文提出了一种方法，能在给定损失函数和训练数据的情况下，跨越一系列计算预算，自动合成高效、高质量的去马赛克算法。该方法执行多目标、离散连续优化，可同时求解出能在计算成本和图像质量之间实现最佳权衡的程序结构及参数。我们对该方法进行了设计，旨在利用特定领域的结构来提高搜索效率。我们将其应用于多项任务，包括对拜耳（Bayer）和富士 X-Trans 彩色滤光片图案进行去马赛克处理，以及联合去马赛克和超分辨率处理。

2025-01-11 16:46:46 2102 1

原创论文阅读：PhoCoLens Photorealistic and Consistent Reconstruction in Lensless Imaging

与传统的基于镜头的系统相比，无镜头相机在尺寸、重量和成本方面具有显著优势。无镜头相机没有聚焦镜头，依靠计算算法从多路复用测量中还原场景。然而，当前的算法在正向成像模型不准确以及先验信息不足的情况下，难以重建出高质量图像。为克服这些局限，我们引入了一种新颖的两阶段方法，用于实现一致且逼真的无镜头图像重建。我们方法的第一阶段通过采用一种能根据相机视场中不同点扩散函数（PSF）变化进行调整的空间可变反卷积方法，着重准确重建低频内容，从而确保数据的一致性。

2024-12-21 10:18:34 1858 2

原创论文阅读：Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction

本文提出了视觉自回归建模（VAR），这是一种新的生成范式，它将图像上的自回归学习重新定义为从粗到细的 “下一级尺度预测” 或 “下一级分辨率预测”，有别于标准的光栅扫描 “下一个标记预测”。这种简单、直观的方法使自回归（AR）变换器能够快速学习视觉分布并能很好地泛化：VAR 首次让类似 GPT 风格的自回归模型在图像生成方面超越了扩散变换器。

2024-12-15 09:20:26 2489 1

原创论文阅读：Learned Multi-aperture Color-coded Optics for Snapshot Hyperspectral Imaging

学习型光学技术融合了轻型衍射光学元件、编码孔径调制以及专门的图像处理神经网络，近来在快照式高光谱成像（HSI）领域备受关注。传统方法通常依赖单个透镜元件与现成的彩色传感器搭配，尽管这些配置应用广泛，但存在固有局限性。首先，拜耳传感器的光谱响应曲线并非针对高光谱成像应用进行优化，这限制了重建的光谱保真度。其次，单透镜设计依靠单个衍射光学元件（DOE）同时对光谱信息进行编码并在所有波长上保持空间分辨率，这制约了光谱编码能力。

2024-11-23 09:38:18 2243 1

原创论文阅读：Uni-ISP Unifying the Learning of ISPs from Multiple Cameras

现代端到端图像信号处理器（ISPs）能够学习从 RAW/XYZ 数据到 sRGB（或其逆过程）的复杂映射，为图像处理带来了新的可能性。然而，随着相机型号的多样性不断增加，长期开发和维护单个 ISP 是难以持续的，因为其本身缺乏通用性，阻碍了对多种相机型号的适应性。这篇文章提出了一种新颖的流程 —— 统一图像信号处理器（Uni - ISP），它统一了对多个相机的 ISP 学习，为多种相机型号提供了准确且通用的处理器。

2024-11-16 10:23:38 2634 1

原创论文阅读：DualDn Dual-domain Denoising via Differentiable ISP

图像去噪是相机图像信号处理 (ISP) 流程中的一个关键组成部分。将去噪器融入 ISP 流程有两种典型方式：直接对拍摄的原始帧（RAW域）应用去噪器，或者对 ISP 输出的 sRGB 图像（sRGB 域）应用去噪器。然而，这两种方法都有其局限性。原始域去噪产生的残留噪声可能会被后续的 ISP 处理放大，而且 sRGB 域很难处理空间变化的噪声，因为它只能看到被 ISP 扭曲的噪声。因此，大多数原始域或 sRGB 域的去噪方法仅适用于特定的噪声分布和 ISP 配置。

2024-11-09 10:30:55 2531 1

原创论文阅读：Computational Long Exposure Mobile Photography (二)

长曝光摄影能拍出令人惊叹的影像，用运动模糊来呈现场景中的移动元素。它通常有两种模式，分别产生前景模糊或背景模糊效果。前景模糊图像通常是用安装在三脚架上的相机拍摄的，描绘的是移动的前景元素（如丝般的流水或光轨）呈现出模糊效果，而背景景观则非常清晰。背景模糊图像（也称为平移摄影）是在相机追踪移动主体时拍摄的，从而得到主体清晰而背景因相对运动而模糊的图像。这两种技术都极具挑战性，并且需要额外的设备和高超的技巧。

2024-11-02 10:00:50 2361 1

原创论文阅读：Computational Long Exposure Mobile Photography (一)

2024-11-02 09:56:49 2479 1

原创论文阅读：Guided Linear Upsampling

引导上采样是加速高分辨率图像处理的一种有效方法。在本文中，文章作者提出了一种简单而有效的引导上采样方法。高分辨率图像中的每个像素表示为两个低分辨率像素的线性插值，其索引和权重经过优化以最小化上采样误差。下采样可以联合优化，以防止遗漏小的孤立区域。该方法可以从颜色线模型和局部颜色变换推导得出。与以前的方法相比，该方法可以更好地保留细节效果，同时抑制诸如渗色和模糊等伪影。它高效、易于实现且没有需要仔细微调的参数。我们使用广泛的图像运算符评估所提出的方法，并通过定量和定性分析展示其优势。

2024-10-19 15:27:06 2578 1

原创论文阅读：Split-Aperture 2-in-1 Computational Cameras （二）

接下来，文章介绍了二合一相机在几种场景下的应用，首先是高动态范围成像，现有的快照高动态范围（HDR）成像工作已经证明，使用条纹状点扩散函数（PSF）可以将局部高动态范围信息光学编码到附近的像素中，这种 PSF 可以在光学层面将饱和区域的图像内容展开成不饱和，并且与附近的图像区域叠加。由于未调制的捕获图像提供了场景中未饱和区域的信息，因此这个重建网络可以专注于从条纹图案中恢复饱和的高光区域，这些条纹图案是通过将高光区域与设计的点扩散函数进行卷积而产生的。然而，在实际中，这种分离并不完美，特别是对于离轴光。

2024-10-07 07:56:05 2213 1

原创论文阅读：Split-Aperture 2-in-1 Computational Cameras

虽然传统相机在从业余摄影到自动驾驶等场景中得到广泛应用，但计算相机更适应某些特定领域。具有协同设计的光学和图像处理算法的相机能够通过光学编码场景信息来实现高动态范围图像恢复、深度估计和高光谱成像，而这些信息是传统相机无法检测到的。然而，这种光学编码为传统图像恢复带来了一个具有挑战性的逆重建问题，并且常常降低了整体摄影质量。因此，具有特定光学结构的计算相机仅在少数无法以其他方式获取捕获信息的专业应用中被采用。在这项工作中，我们研究了一种将两个光学系统组合成一个的方法来应对这一挑战。

2024-10-01 16:47:24 1810 1

原创论文阅读：AutoDIR Automatic All-in-One Image Restoration with Latent Diffusion

这篇文章提出了一个创新的 all-in-one 的图像恢复框架，融合了隐扩散技术，各种不同的图像退化都可以用这一个模型搞定，简称 AutoDIR。AutoDIR 模型可以自动的识别以及恢复一系列未知的图像退化。AutoDIR 提供了直观的开放式词汇图像编辑功能，使用户能够根据自己的喜好定制和增强图像。AutoDIR 由两个关键阶段组成：一个基于语义无关的视觉语言模型的盲图像质量评估（BIQA）阶段，它会自动检测输入图像中的未知图像退化类型；

2024-09-08 11:37:31 2277 1

原创论文阅读：Real-time Controllable Denoising for Image and Video

图像或者视频降噪，是在细节与平滑度之间的一个微妙的平衡，因为噪声与细节都属于高频信息，降噪在去除噪声的同时，也会对纹理细节造成一定的损害，而且最终的图像效果与人的主观感受有关，所以降噪强度也是一个众口难调的问题。所以文章的主旨非常明确，就是要做可控的降噪，而且是实时可控。这个在传统的降噪方法中，可以通过调整算法中的某些超参进行控制。不过对于目前主流的神经网络一类的方法来说，调整降噪强度，需要每次重新跑一遍推理，这个对于实时性要求很高的场景来说，这种耗时是很难接受的。

2024-08-18 14:58:10 1949

原创论文阅读：Burst Image Restoration and Enhancement

现在的很多手持设备都可以拍摄多帧图像，获取的多帧图像可能存在不同形式的质量退化以及不对齐的问题。多帧图像复原的目标就是有效地将多帧图像之间的信息进行组合以生成高质量的输出。文章作者设计了一种新的方法，该方法聚焦于对多帧图像之间的有效信息的交换。以最大程度的保留和增强场景的真实细节信息。文章的核心思想是创建一组虚拟的多帧特征 pseudo-burst features，这组虚拟的多帧特征可以将输入的多帧图像之间的互补信息无缝交换。虚拟多帧特征创建的前提是多帧图像之间能够合理地对齐，消除帧与帧之间的运动偏移。

2024-07-20 09:00:31 1832 1

原创论文阅读：HDRFlow Real-Time HDR Video Reconstruction with Large Motions

文章一开始就直接亮出观点，基于不同曝光的 HDR 视频重建问题目前依然存在很多的挑战，尤其是在相机或者场景物体大幅运动的情况下。目前的方法都是利用光流将 LDR 的图像序列进行对齐，然后利用 attention 机制去鬼影。这类方法在处理复杂运动场景的时候，效果不是很好，而且运算的代价很大。为了解决这些问题，文章作者为实时的 HDR 视频重建问题提出了一个鲁棒而且高效的位移场估计器，称为 HDRFlow。

2024-07-13 09:10:55 1929 1

原创论文阅读：Simple Baselines for Image Restoration

这篇文章是 2022 ECCV 的一篇文章，是旷视科技的一篇文章，针对图像恢复任务各种网络结构进行了梳理，最后总结出一种非常简单却高效的网络结构，这个网络结构甚至不需要非线性激活函数。文章一开始就提到，虽然在图像复原领域，可以看到非常明显的进步和提升，但是这些算法框架的复杂性也随之增加。这篇文章重新思考了算法框架的设计，提出了一种非常简单的基线算法框架，这个基线算法框架不仅效果上可以超越当前的一些 SOTA 方法，而且运算效率也非常高。

2024-07-06 17:29:19 2343 2

原创论文阅读：Efficient Unified Demosaicing for Bayer and Non-Bayer Patterned Image Sensors

这篇文章是 2023 ICCV 的一篇文章，主要介绍一套统一的去马赛克的算法框架的由于手机 Camera 上 CMOS 的单个 pixel size 比较小，所以现在很多手机的 Camera CMOS 会采用一些独特的非 Bayer 模式的 CFA (Quad, Nona 以及 Q X Q) 等，这类非 Bayer 模式的特点是在一个局部邻域内的像素是同样的颜色，可以根据不同的光照条件，进行灵活的转换，不过也对去马赛克的方式带来了挑战，如果处理不好，很容易带来 artifacts。

2024-06-30 09:58:36 1566 1

原创论文阅读：Efficient Hybrid Zoom using Camera Fusion on Mobile Phones

这是谷歌影像团队 2023 年发表在 Siggraph Asia 上的一篇文章，主要介绍的是利用多摄融合的思路进行变焦。单反相机因为卓越的硬件性能，可以非常方便的实现光学变焦。不过目前的智能手机，受制于物理空间的限制，还不能做到像单反一样的光学变焦。目前主流的智能手机，都是采用多摄的设计，一般来说一个主摄搭配一个长焦，为了实现主摄与长焦之间的变焦，目前都是采用数字变焦的方式，数字变焦相比于光学变焦，细节会损失很多。

2024-06-23 10:17:26 1626 1

原创读书笔记--金字塔原理

界定问题：也就是使用连续分析的方法来界定问题：背景 —— R1（非期望结果）—— R2（目标，即期望结果）—— 实现R1到R2的解决方案。结构化分析问题：标准流程是收集信息–描述发现–得出结论–提出方案。金字塔内部结构的逻辑关系。

2024-04-05 21:32:46 1258

原创浅谈泰勒展开与优化

优化，可以说是最常见到的一类数学问题，尤其在深度学习时代，大部分的工作都是围绕着数据构建，模型设计，loss 设计来开展的，深度学习训练模型的目的是拟合训练数据，或者说让设计的 loss 最优，无论是拟合训练数据，还是让 loss 最优，这都涉及到优化问题。有些函数很复杂，比如现在的 AI 模型，AI 模型本身也是一种函数，只是这个函数的表达式过于复杂，已经不能显式地将表达式写出来了。对于这类优化问题，大家都知道可以用梯度下降结合链式法则去优化，现在的深度学习，本质上也是上面这种形式，

2024-03-24 14:38:42 2267

原创论文阅读：Face Deblurring using Dual Camera Fusion on Mobile Phones

今天介绍一篇发表在 ACM SIGGRAPH 上的文章，是用手机的双摄系统来做人脸去模糊的工作。这也是谷歌计算摄影研究组的工作。快速运动物体的运动模糊在摄影中是一个一直以来的难题，在手机摄影中也是非常常见的问题，尤其在光照不足，需要延长曝光时间的场景。最近几年，我们也看到了图像去模糊领域的巨大进步，不过大多数的图像去模糊方法的算法开销很高，需要依赖很高的算力，同时在处理高分辨率图像时还存在局限于不足。

2024-03-17 09:59:08 1712 1

原创论文阅读：Iterative Denoiser and Noise Estimator for Self-Supervised Image Denoising

随着深度学习工具的兴起，越来越多的图像降噪模型对降噪的效果变得更好。然而，这种效果的巨大进步都严重依赖大量的高质量的数据对，这种对大量训练的依赖，在真实环境中比较难获取，这在一定程度上限制了这些降噪模型的实际应用。为了克服对数据的依赖，很多研究者也开始探索自监督的学习方法，这类方法可以不依赖成对的数据。然而，由于噪声先验的不可获得以及特征提取不够有效，同样也让这类自监督学习方法实用性及精确性大打折扣。这篇文章提出了一个 Denoise-Corrupt-Denoise （DCD）的自监督学习的流程框架。

2024-03-10 08:12:54 1478 1