计算成像逆问题的特征域求解范式

跨域一致性重建:从稀疏数据恢复清晰图像的CDCRec方法详解 在信号处理与计算成像领域,从稀疏、含噪的观测数据中恢复高质量图像是一个经典的逆问题。其核心原理在于,观测数据(如傅里叶域的采样点)与目标图像之间通过物理模型(如傅里叶变换)相联系。解决此类问题的技术价值在于能够突破硬件采样的限制,从有限数据中提取最大信息量,广泛应用于医学成像、天文观测和压缩感知等场景。传统方法往往在单一域(如图像域)进行优化,容易产生伪影或过拟合。本文聚焦的CDCRec方法,创新性地引入了“跨域一致性”约束,通过构建图像域与数据域的双分支协同优化网络,让两者在重建过程中互相监督与校正。这种 阅读详情

导读:从石窟壁画的原始刻痕到银盐胶片的化学显影,从数码传感器的光电转换到计算光学的智能解析,计算光学成像开创了全新的技术路径——通过光学调制与算法重构的协同设计,前端系统不再囿于物理极限下的完美成像,而是与后端计算形成闭环优化。这种“编码-解码”的范式迁移,正推动成像技术从单纯的“光信号记录”迈向更高维的“光信息解译”。

在计算光学成像中,前向模型的数学精确性直接决定成像质量。前向模型通过数学方程严格描述光学系统从物平面到像平面的映射关系,其与真实物理过程的匹配程度构成计算重构的理论基础。然而实际系统中,难以校正的像差、探测器噪声和系统装配误差等因素会导致前向模型失配,进而引发重构伪影与分辨率损失。传统解决方案通过增加模型参数来提升建模精度,但这种方法面临双重困境:一方面,参数空间的维度膨胀显著增加计算复杂度;另一方面,过参数化的模型会降低对未知光学环境的适应能力,导致泛化性能下降。

针对上述挑战,清华大学曹良才教授课题组与中国科学院西安光机所潘安研究员课题组开展联合研究,创新性地提出利用图像特征域不变性构建特征域相位恢复方法(Feature-Domain Phase Retrieval, FD-PR)。FD-PR通过深度融合特征域非凸优化理论与即插即用降噪先验,不仅可以提升计算成像相位恢复的重建质量,还提高了成像质量对系统误差、噪声数据的抗性,可用于包括相位恢复的各类计算成像中。

图片

图1:FD-PR的算法流程图

FD-PR的理论创新受到人类视觉系统鲁棒感知机制的仿生学启发。神经科学家霍雷斯·巴罗的高效编码理论表明:“生物视觉系统初级阶段的一个重要功能就是尽可能的去除输入刺激的统计冗余。”

通过对比图像数据在图像域和特征域的统计学差异,作者发现成像数据的有效信息主要蕴含在边缘、结构和纹理等底层视觉特征中,这些特征反映了物体的本质属性。相比之下,光照、色彩等表观信息容易受环境干扰,而底层特征在光学系统存在像差或噪声时仍保持稳定。这种抗干扰的稳健性被称为图像特征域不变性,为计算成像的鲁棒优化提供了理论依据。

图片

图2:图像特征域不变性的统计学展示

根据图像特征域不变性,作者抛弃了传统计算成像中利用图像逐像素作差构建损失函数的方式,转而使用特征提取算子提取图像特征,利用图像多尺度特征信息设计损失函数。

图片

图3:特征域相位恢复的损失函数构建

高效编码理论进一步表明:“初级视皮层的视神经细胞对外界环境的响应满足稀疏编码的特性。”为利用这种稀疏特性,作者团队使用L1范数衡量损失函数中图像特征的差异。

图片

图4:L2和L1范数对椒盐噪声降噪效果的对比

通过在傅里叶叠层成像实验中的对比,验证了FD-PR可以有效减少因LED灯珠偏移引起的伪影。

图片

图5:振幅形鉴别率板傅里叶叠层重建结果对比。上:传统方法,下:本工作方法

在同轴全息试验中,FD-PR可以有效结合不同的正则化降噪器从而抑制孪生像伪影。

图片

图6:相位型鉴别率板同轴全息重建结果

在叠层成像试验中,FD-PR可以有效同时恢复物体的相位信息与探针光束的复振幅。

图片

图7:FD-PR在叠层成像中的应用

综上,该工作利用图像特征信息构建了一种兼具高鲁棒性与重建质量的计算成像相位恢复框架,有效降低了不同计算成像模态下对前向模型与光学系统精确匹配的要求,并在傅里叶叠层成像、编码叠层成像、像差恢复等方面得到了应用。FD-PR的特征域损失函数构建与即插即用降噪模块可以适用于其他计算成像逆问题求解中。

第一作者为博士后张书赫,通讯作者为曹良才教授。该研究成果以“High-fidelity computational microscopy via feature-domain phase retrieval”为题发表于Advanced Science,并被评选为Inside front cover。相关程序与实验数据已在GitHub开源(https://github.com/THUHoloLab/feature-domain-phase-retrieval)。

未来将进一步探索基于深度神经网络获得的特征提取算子在信号特征分析的表征能力,并拓展至例如无透镜成像、多孔径成像等应用场景。

论文信息

High-Fidelity Computational Microscopy via Feature-Domain Phase Retrieval

Shuhe Zhang, An Pan, Hongbo Sun, Yidong Tan, Liangcai Cai*

Advanced Science: 10.1002/advs.202413975

https://doi.org/10.1002/advs.202413975

文章转载:中国光学
免责声明:转载此文目的在于传递更多信息,仅供读者学习、交流之目的。如有侵权,请联系删除。

深度学习在光学成像逆问题求解中的应用与优化 光学成像逆问题求解是计算机视觉和图像处理中的核心挑战,涉及从受损测量数据重建高质量图像。传统方法依赖正则化技术和迭代优化,但面临计算成本高和适应性有限的问题。深度学习通过隐式先验学习和端到端优化,为逆问题求解带来革命性突破。结合相位多样性技术,深度学习不仅能提升重建质量,还能通过伪数据生成减少硬件依赖。这一技术广泛应用于医学影像、遥感和工业检测等领域,展现了深度学习在解决复杂成像问题中的巨大潜力。 阅读详情

相关推荐

GS²CI:融合3D高斯泼溅与大视觉模型,突破快照压缩成像重建瓶颈

在计算成像领域,从单张压缩图像中重建高质量视频序列是一个经典的病态逆问题。其核心原理在于,当观测数据(测量值)远少于待求解的未知数(原始视频帧)时,传统算法依赖的稀疏性等先验约束往往不足,导致重建结果模糊、伪影严重。为解决这一难题,研究者开始探索将强大的数据驱动先验知识注入物理成像模型。大视觉模型(LVM)通过在超大规模数据集上预训练,学习到了关于物体结构、纹理和光影的通用知识,为重建提供了“常识性”约束。将这种先验与可微分的物理模型相结合,能在“忠实于观测数据”和“符合视觉合理性”之间找到最优平衡,显著提

weixin_34238633的博客 416

叶状几何与Atiyah-Molino框架:逆问题求解的几何新范式

在科学计算与工程领域,逆问题求解旨在从观测数据反推隐藏的物理模型或系统参数,是医学成像、地球物理勘探和信号处理等领域的核心技术。其核心挑战在于问题往往具有不适定性,解不唯一且对噪声敏感。传统方法依赖于数值优化与正则化技术,但难以有效利用解空间内在的层次化结构先验。叶状几何理论为解决这一瓶颈提供了新视角,它将高维解空间视为由低维‘叶片’分层铺满的流形,从而自然描述解的分片平滑特性与界面不连续性。Atiyah-Molino框架则进一步为这些叶片之间的连接关系提供了严格的数学描述,通过特征类与结构群约束,将物理先

weixin_31220401的博客 303

计算成像与AI融合:仿生视觉与边缘智能驱动下一代移动视觉系统

计算成像(Computational Imaging)通过将计算过程前置到光学编码与传感器层面,从源头优化信息获取,为解决传统成像在移动与边缘场景下的带宽、功耗与延迟矛盾提供了新范式。其核心原理在于协同设计光学硬件与AI算法,构建端到端优化的成像系统,从而在超分辨率、高动态范围等任务上实现突破。这一技术价值在于显著提升感知效率与能效比,为自动驾驶、无人机、AR/VR等应用场景提供了更鲁棒、自适应的视觉解决方案。其中,事件相机作为仿生视网膜的硅基实践,以其极高的时间分辨率与动态范围,成为处理高速运动与极端光照

weixin_33698823的博客 238

模数编码与扩散先验:单帧HDR成像的混合智能范式

高动态范围成像技术旨在解决相机传感器动态范围不足的核心问题,其原理是通过扩展记录的亮度范围来捕捉从阴影到高光的丰富细节。传统多帧融合方法存在流程繁琐和对运动敏感的局限,而单帧HDR重建则面临信息严重缺失的挑战。随着深度学习的发展,扩散模型作为强大的生成先验,为从低质量观测数据中重建高质量图像提供了新的技术路径。它通过学习自然图像的分布规律,能够引导算法“想象”出视觉合理的细节。结合旨在从源头捕获更结构化信息的模数编码技术,共同构成了“硬件编码捕获+AI先验重建”的混合智能范式。这一融合方案显著提升了单帧HD

weixin_33437929的博客 342

从傅里叶到压缩感知:现代SAR成像算法演进全解析(含MATLAB对比)

本文全面解析了从傅里叶变换到压缩感知的现代SAR成像算法演进历程,包括FFT、FrFT和CS的技术原理及MATLAB实现对比。探讨了这些算法在分辨率、计算效率和适用场景上的差异,为合成孔径雷达在军事侦察、地质勘探等领域的应用提供了技术参考。

weixin_42567752的博客 266

大视觉模型引导3DGS:突破快照压缩成像重建瓶颈

快照压缩成像(Snapshot Compressive Imaging, SCI)是一种通过单次曝光获取多帧视频信息的前沿计算成像技术,其核心原理是利用编码孔径和压缩感知理论,在传感器端实现数据压缩。然而,传统SCI重建算法在面临低信噪比和复杂场景退化时,重建质量往往急剧下降,难以恢复出清晰、连贯的动态序列。为解决这一工程难题,研究者开始引入数据驱动的深度学习范式,特别是利用在大规模视觉数据上预训练的大视觉模型(Large Vision Model, LVM)所蕴含的强大先验知识。这类模型具备对场景语义、结

weixin_34331102的博客 344

2025热门技术剖析!AI驱动的成像增强与重建迎来“颠覆性”技术!

基于深度学习的计算光学成像通过神经网络对复杂数据进行建模与分析,实现了超分辨率成像、快速成像和高精度成像等多种高难度任务。尤其在医学影像、材料科学和工业检测等领域,深度学习驱动的计算光学成像正展示出强大的潜力与优势。2.掌握利用深度学习从成像设备优化设计、典型计算成像任务以及后端的计算机视觉任务的认知框架,并掌握对相应计算成像技术发展现状和任务执行能力。1.掌握深度学习算法的原理和应用,剖析计算成像主流研究范围及关联的统一计算范式,能够运用深度学习技术对光学成像系统进行创新设计和优化。

2401_83378697的博客 1355

光谱融合:突破高光谱成像空间分辨率瓶颈的关键技术

图像融合是遥感与计算机视觉中的基础技术,旨在将多源影像的互补信息整合到统一数据集中。高光谱成像虽能捕获数十至上百个连续波段,但受限于传感器硬件,空间分辨率往往不足,直接制约了工业检测、精准农业等近距场景的应用。光谱融合通过将高分辨率全色或多光谱影像与低分辨率高光谱数据结合,在保持光谱保真度的同时提升空间细节,成为解决这一矛盾的关键手段。该技术源于全色锐化,并发展为像素级、特征级及决策级等不同层次的融合策略。融合后的数据立方体既能保留完整光谱曲线,又能获得清晰的边缘纹理,可显著提升后续分类与定量反演的精度。围

weixin_28681379的博客 336

交叉应用顶刊:TMI(医学成像)、TGARS(遥感)的跨学科挑战与机遇

本文深入探讨了在医学成像顶级期刊IEEE TMI与遥感顶级期刊IEEE TGSRS发表跨学科研究所面临的独特挑战与时代机遇。文章分析了两大学科在数据模态、物理模型、评价体系与应用目标上的本质差异,揭示了跨领域知识融合的核心壁垒。同时,本文系统阐述了以问题驱动实现深度学科交叉的方法论,包括“场景重构”、“模型迁移”与“评价创新”等策略。通过剖析多个前沿案例,文章指出,人工智能、计算成像等使能技术正成为打破学科壁垒的桥梁。最终,文章为研究者规划了一条从选题创新、方法构建到成果凝练的可行路径,旨在推动产生具有变革

AladdinEdu,你的AI学习实践工作坊。让想法落地,让研究加速。助力高校AI人才成长,点亮创新未来。 1618

004、计算摄影vs传统成像:范式革命与核心差异解析

文章摘要: 本文深入探讨计算摄影与传统成像的核心差异,通过实际案例揭示范式革命的关键点。传统成像追求单帧物理真实,受限于硬件性能和线性处理逻辑;计算摄影则通过多帧融合、先验知识与深度学习,实现感知最优的画面重建。文章对比了两者在目标、信息源、噪声处理等维度的差异,并指出计算摄影的核心优势与潜在风险(如伪影、过拟合)。最后,作者结合实战经验,强调数据质量、算力约束与算法-硬件协同的重要性,提出传统ISP与计算摄影混合调优的务实方案。

sundong_81的博客 195

TNNLS论文复现:复域卷积稀疏编码用于干涉相位恢复(MATLAB+TeX代码实现)

在相位恢复中,观测数据为傅里叶强度谱:其中 $ \odot $ 表示逐点乘积,$ \overline{(\cdot)} $ 为共轭。数据保真项衡量当前估计 $ x $ 的预测强度与真实观测之间的差异,常用欧氏距离:该误差函数是非凸、非光滑的,且对相位扰动极为敏感。但在ADMM框架中,可通过固定其他变量、仅更新 $ x $ 来局部最小化。

weixin_36304957的博客 512

AI赋能计算成像:从压缩感知到智能感知的范式跃迁

计算成像是一种通过联合优化光学硬件与后端算法来突破传统成像物理极限的技术范式。其核心原理基于信息论与信号处理,通过主动编码将高维场景信息压缩到低维传感器测量中,再通过计算算法重建。这一技术显著提升了成像系统的信息获取效率与质量,在自动驾驶、工业检测、医疗诊断等领域具有重要应用价值。当前,人工智能特别是深度学习技术,正深度融入计算成像的各个环节:一方面作为强大的解码器,大幅提升了重建速度与质量;另一方面,通过端到端优化参与光学硬件设计,并推动系统向场景自适应与任务导向的智能感知体演进。

weixin_30856725的博客 209

AI落地困局与破局者FDE:从技术神话到价值实干的战略转型

AI落地困局与破局者FDE:从技术神话到价值实干的战略转型 当前AI企业级应用面临三大核心挑战:业务场景深度非标化、技术落地"最后一公里"困局、以及市场竞争焦点转向实用价值。前线部署工程师(FDE)作为破局关键,通过技术-业务-产品三维交汇的复合能力,将AI从实验室推向生产环境。FDE不仅是技术架构师,更是业务价值挖掘机和产品进化传感器,通过"碎石路-高速公路"双循环模式,将定制化需求沉淀为可复用的平台能力。这种模式颠覆了传统SaaS的销售逻辑,形成基于价值的J型增长

随笔记录-分享&记忆 3970

透过散射介质的智能成像:深度学习驱动的散斑相关性重建研究

本研究基于深度学习方法,实现了从散射介质后的散斑图案中重建原始物体图像。针对雾、生物组织等散射介质导致的光学成像难题,设计了一种融合密集连接与U型结构的混合网络架构。实验结果表明,该方法能准确重建字母、数字等复杂形状,物体区域平均置信度达0.89-0.95,背景区域控制在0.05-0.11,对比度比值达8.1:1至19:1。相比传统方法,本方案具有计算速度快(毫秒级)、鲁棒性强、无需先验知识等优势,为散射成像领域提供了新的解决思路。

简单光学 490

汇川伺服驱动器参数优化实战指南

本文详细介绍了汇川伺服驱动器参数优化的实战技巧,涵盖控制模式选择、电子齿轮比调整、刚性匹配与振动抑制等关键内容。通过实际案例和实用技巧,帮助工程师快速掌握伺服驱动器参数调校方法,提升设备运行精度和稳定性。特别针对高精度定位和高速响应场景提供了专业指导。

weixin_29070721的博客 726

基于Agent与大模型的性能测试脚本自动化生成实践

性能测试是软件质量保障的关键环节,其核心在于模拟真实用户负载以评估系统在高并发下的表现。传统脚本编写依赖人工,效率低下且易出错。通过引入智能体(Agent)与大语言模型(LLM)技术,可实现从自然语言描述或接口文档到可执行脚本的自动化转换。Agent负责任务规划与工具调用,LLM则提供强大的意图理解与代码生成能力,二者结合能精准解析测试场景、自动处理参数化与接口关联等复杂逻辑。该技术方案显著提升了脚本生成效率与准确性,尤其适用于持续集成、海量接口回归等需要快速构建测试场景的工程实践。本文以JMeter和Lo

weixin_28718769的博客 259

非视距成像:让自动驾驶汽车“看穿”盲区的下一代感知技术

在自动驾驶领域,感知系统是车辆理解环境、做出决策的基础。其核心原理在于通过传感器获取周围世界的物理信息,并转化为可计算的数据模型。传统的摄像头、毫米波雷达和激光雷达(LiDAR)等技术,主要依赖“视线内”探测,对于被遮挡的视觉盲区无能为力,这构成了高级别自动驾驶在城市复杂场景下面临的根本性挑战。非视距成像技术的价值,正是在于突破了这一物理限制,它利用超短脉冲激光和超高时间分辨率探测器,捕捉经过多次漫反射的微弱光子信号,通过计算成像和深度学习算法,重建被遮挡物体的轮廓与位置。这项技术为自动驾驶带来了预见性感知

404

直流有刷电机控制 - 驱动电路(二)

1.如图所示为最常见的推挽驱动电路,我附加了具有正反转功能的电机驱动控制,正反转是由两个继电器组成。使用推挽电路来驱动NMOS管时充电电流和放电电流都很大,因此NMOS管导通快,关断也快,而且NMOS温度不会很高。下面来介绍一下该电路的原理。(1)PWM_MCU是由单片机给出的PWM波信号,该信号是由一些列高低电平的方波构成。当信号为高电平的时候Q3导通,经过R47再到Q5的g极,此时mos导通,如果是K1闭合是正转那么K2闭合就是反转。(2)当PWM低电平时使得Q3关断,Q6导通。

u011030644的博客 4714

人工智能与光学系统的深度融合:大模型在光学设计与成像中的应用~!

《Nature重磅:超表面硬件融合物理AI开创定量相位成像新范式》报道了超表面与人工智能融合的创新突破。文章同时介绍了"大模型光学设计"专题课程,该课程系统培养LLM在光学设计中的应用能力,涵盖Transformer架构、光学结构语义描述、FDTD仿真集成等核心内容,由光学顶尖高校专家主讲。课程分为光学基础、计算成像建模、大模型应用、联合优化方法和LLM驱动成像五大模块,致力于培养自然语言交互的工程设计新范式能力,推动AI技术与光学科学的深度交叉创新。

mning6的博客 427

sentaurus学习笔记(HFET_pGate_GaN仿真)(九)

`(sdedr:define-constant-profile-placement "Ohmic.s" "Ohmic" "Pl.ohmic.s" 0.002)`这一行将`"Ohmic"`掺杂剖面放置在`"Pl.ohmic.s"`参考评估窗口中,同样`0.002`可能表示掺杂剖面在窗口中的偏移量或其他参数。欧姆接触是半导体器件中的一种低阻抗电气接触,通常需要高掺杂来减少接触电阻并提高器件性能。通过这些步骤,SDE能够为器件的源极和漏极区域设置高掺杂的欧姆接触,这对于确保器件的高性能和低接触电阻至关重要。

qq_52640792的博客 1380

5分钟搞定PaddleOCR PP-OCRv5环境搭建:从安装到第一个识别Demo

本文提供了一份详细的PaddleOCR PP-OCRv5环境搭建与快速入门指南。通过清晰的步骤,指导读者在5分钟内完成从创建Python虚拟环境、安装PaddlePaddle框架和PaddleOCR库,到编写并运行第一个OCR识别Demo的全过程,帮助开发者快速体验最新的PP-OCRv5模型的文字识别能力。

sprite的博客 1265

连登国际顶级期刊!AI时代下的计算机视觉重磅技术!七天小白变大神!

随着深度学习技术的迅速发展,计算机视觉技术领域迎来了新的机遇。传统的成像系统受限于硬件能力和物理法则,往往难以在高分辨率和高速成像之间找到平衡。然而,深度学习凭借其强大的数据处理能力和模式识别优势,正逐步突破这些瓶颈。在基于深度学习的计算机视觉技术中,神经网络能够有效建模和分析复杂数据,从而实现超分辨率成像、快速成像和高精度成像等多项挑战性任务。这一技术不仅提升了成像质量,而且显著缩短了数据处理时...

3D视觉工坊 615

项目管理知识体系(PMBOK)中的质量规划详解

你是否遇到过这些场景?软件上线后用户投诉“功能漏洞多”,团队连夜返工;装修完的房子墙面开裂,施工方和业主互相推诿;新研发的手机电池续航不达标,被迫延迟发布。这些问题的根源,往往是项目启动时没有做好质量规划。本文聚焦PMBOK中“质量规划”(Plan Quality Management)过程,覆盖其核心概念、操作步骤、工具技术与实战应用,适用于IT、建筑、制造等各类项目场景。

项目管理的博客 1115

再度封神!连发3篇国际顶刊,审稿人直夸没问题!计算机视觉领域迎来史上重大突破!...

随着深度学习技术的迅速发展,计算机视觉技术领域迎来了新的机遇。传统的成像系统受限于硬件能力和物理法则,往往难以在高分辨率和高速成像之间找到平衡。然而,深度学习凭借其强大的数据处理能力和模式识别优势,正逐步突破这些瓶颈。在基于深度学习的计算机视觉技术中,神经网络能够有效建模和分析复杂数据,从而实现超分辨率成像、快速成像和高精度成像等多项挑战性任务。这一技术不仅提升了成像质量,而且显著缩短了数据处理时...

小白学视觉 657

[deprecated]第二章:DRM 框架概述:2.2 GEM显存管理概述

本文深入分析了Linux DRM子系统中GEM(Graphics Execution Manager)的显存管理机制。GEM通过核心数据结构drm_gem_object抽象显存buffer,结合drm_vma_offset_manager和drm_mm实现高效的地址空间分配与管理。该系统支持显存动态分配/回收、用户空间mmap映射、多进程访问隔离和跨设备共享等关键功能,并通过引用计数和同步机制确保并发安全。

图形/计算GPU的驱动与虚拟化技术分享园地 2534

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

上一篇: 基于光场相机的激光增材制造熔池温度场原位多眼监测​​
下一篇: 基于压缩剪切干涉的单次光场表征技术研究
光场视觉
博客等级 码龄3年 1403粉丝 150原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值