NLOS的博客

Hydra系统的出现,就像是为毫米波雷达打开了一扇新的大门。突破视场限制：能够感知直接视场之外的物体。穿透遮挡：可以"看到"被遮挡的目标。全方位感知：甚至能够探测雷达后方的物体。提高精度：显著降低了目标定位的误差。Hydra的创新之处在于,它不需要额外的硬件,也不需要预先了解环境信息。这种"软件升级"的方式,使得现有的毫米波雷达系统可以轻松获得超视场感知能力,大大提升了其应用潜力。展望未来,Hydra为毫米波雷达技术的发展开辟了一条新的道路。在自动驾驶。

雷达信号预处理基于邻域空间/速度的幻影点去除基于跨帧累积聚合的车辆检测让我们深入探讨每个步骤的具体实现。mmOVD系统的提出无疑是自动驾驶领域的一个重大突破。它巧妙地利用了毫米波雷达的特性，解决了长期以来困扰业界的全遮挡车辆检测问题。这项研究不仅在技术上具有创新性，更在实际应用中展现出巨大的潜力。首次实现了对完全被遮挡车辆（包括摩托车）的准确检测。提出了一套基于邻域空间和速度分布的特征集，有效解决了幻影点问题。设计了一种新的检测系统，通过保守聚类和累积聚合的方法，有效处理了不稳定的雷达信号。

RFlect系统的出现，无疑为拐角成像技术开辟了一个新的时代。它巧妙地利用了环境中的各种反射面，实现了在实际环境中的高分辨率非视线成像。这项技术不仅在理论上有重要突破，在实际应用中也展现出巨大潜力。从自动驾驶到灾难救援，从仓库管理到安防监控，RFlect的应用前景广阔。尽管还存在一些限制，但RFlect无疑为未来的研究指明了方向。随着技术的不断进步，我们可以期待看到更加强大、更加通用的拐角成像系统的出现。这将为我们打开一个全新的视界，让我们能够以前所未有的方式感知和理解周围的世界。

αLiDAR系统代表了LiDAR技术的一个重要突破。通过创新性地结合可控制的主动旋转机制、精确的不确定性感知状态估计算法和自适应旋转规划，αLiDAR成功地克服了传统LiDAR系统的多个限制。实现了全景视场，大大扩展了LiDAR的感知范围。提供了高分辨率的点云数据，增强了环境细节的捕捉能力。引入了自适应扫描聚焦功能，能够根据需要灵活地关注特定区域。开发了创新的状态估计算法，有效解决了快速旋转带来的点云失真问题。在保持低成本的同时，显著提升了LiDAR的整体性能。

本文提出的无监督变分翻译器(VaT)为桥接图像恢复与高级视觉任务提供了一种新颖而有效的方法。通过变分推断和不确定性引导的自训练,VaT成功地在不需要配对数据和模型重训练的情况下,显著提升了高级视觉任务在退化环境中的性能。理论基础扎实:通过变分推断推导出的优化目标,为无监督学习提供了坚实的理论支撑。架构灵活轻量:采用轻量级网络连接现有模型,无需重训练即可实现性能提升。性能显著:在多个任务和数据集上均展现出优于现有方法的性能。通用性强:适用于多种图像恢复和高级视觉任务的组合。

2×Track是一种创新的基于声学的6D姿态追踪系统,它巧妙地解决了多发射器干扰和多径信号分离的难题。通过精心设计的带复用信号模型,2×Track成功将可用带宽翻倍,大幅提升了追踪精度。此外,一系列创新技术的应用,如多分辨率分析和轻量级初始化方案,进一步增强了系统性能。2×Track不仅在理论上取得了突破,在实际应用中也展现出巨大潜力。它为将声学6DoF追踪集成到商用音频系统迈出了关键一步,为VR/AR智能人机交互等领域提供了一种低成本、高精度的解决方案。

这篇论文提出的基于隐式神经表示的电磁反散射问题解决方案，无疑是该领域的一个重大突破。创新的问题解决思路：通过将EISP转化为一个前向优化问题，巧妙地规避了反问题的复杂性和非线性挑战。这种思路的转变为解决其他类似的反问题提供了新的启发。隐式神经表示的引入：将INR应用于EISP是一个富有洞察力的创新。这不仅解决了离散化带来的分辨率损失问题，还为处理稀疏测量数据提供了有力工具。双MLP策略：使用两个独立的MLP分别表示相对介电常数和感应电流，这种设计巧妙地避免了复杂的矩阵求逆操作，大大提高了计算效率。

本文通过元表面波导结构和人工智能驱动的全息算法的协同设计,实现了一个小型、轻量级的全息增强现实眼镜。该系统可以在极小的空间内传播和重构高质量的全彩立体3D全息图像,性能明显超过其他波导增强现实显示技术。这为未来实现真正意义上的全息增强现实眼镜指明了方向。通过元表面、高折射率材料和深度学习的组合,相信真正舒适轻便的全息AR眼镜会能够大范围落地。

本文介绍了一种单光子级非视距成像方法。该方法的核心创新点在于,以一种巧妙假设为基础,仅利用单光子飞行时间就能估计相应的强度信息构造了一个凸优化框架,创新性地融合了总变分与非局部自相似等先验,从极少光子输入中重建高质量隐藏场景围绕以上两点,作者进行了大量仿真和实验,展示了该方法在低光子通量下明显优于其他算法的卓越重建性能。更为重要的是,作者首次证实了非视距成像问题确实可以在单个光子的极限条件下获得有效解决。

扩散采样器 (Diffusion Sampler): 基于扩散模型的概率生成框架，通过多步迭代从高斯噪声逆向重建出隐藏物体的图像信息。模型引导 (Model-Guided): 将传统优化算法中使用的物理先验知识引入到扩散采样器中，进一步提升重建质量和物理合理性。简单来说，该方法从一个高斯噪声分布出发，通过一系列扩散步骤逐步"去噪"以生成隐藏场景的图像,并在此过程中融入了物理建模的先验知识。下面我们将逐一解析这两大核心创新点。

提出了一种端到端的神经计算成像方法,用于学习如何最优地照亮场景,以最大化NLOS性能。该流程包括新的基于消息传递神经网络的照明估计网络(Illumination Estimation Network, IEN)用于估计聚光灯位置,基于物理的可微渲染器,以及用于NLOS定位/姿态分类的神经网络。利用可微渲染器在流程中,该方法可显著提高对现实场景的适用性,这些场景具有非漫反射表面和自发光对象。使用合成和真实数据证明了其优于若干基线的性能。该方法实现了未知人体主体的高精度定位。

本文提出了一种基于超导纳米线单光子探测器的非视距红外成像方法。该方法成功地在1560nm和1997nm两个波长进行了非视距成像实验。利用小波变换进行降噪,显著提升了图像的信噪比。这种方法拓展了非视距成像的光谱范围,为将来的应用提供了可能。非视距成像可以在直视视线外成像隐藏物体,具有巨大应用前景。目前大多数非视距成像仅在可见光和近红外波段。本文利用超导纳米线单光子探测器的宽波段响应,实现更长波长的非视距成像。

注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文。

被动非视距成像技术只需要利用场景表面反射的间接光线,不需要昂贵的测量设备或复杂的测量过程,就可以恢复隐藏物体。本文提出了一种基于矩阵分解的新颖网络,可以同时恢复隐藏视频和光传输矩阵。网络具有多阶段结构,每一阶段相当于矩阵分解优化算法的一个优化迭代。采用空间变化卷积和光传输矩阵的神经表示,提高了网络的效率。提出的方法可以同时恢复隐藏视频和光传输矩阵。存在实时性差和矩阵分解可能产生变形等问题。未来将探索其他生成模型,提高对复杂运动的拟合能力。

NLOS成像技术可以重建视线以外的物体或场景,在许多领域都有重要应用。在瞬态NLOS成像中,成像时间分辨率受检测器单光子时间分辨率(SPTR)的限制。本文提出了一种时域编码NLOS成像技术(TE-NLOS),可以在低SPTR检测器上实现超分辨率成像。通过利用瞬态图像的时空相关性,可以在已知编码序列的帮助下,从压缩测量中重构高时间分辨率的瞬态图像。实验表明,本方法可以在1.28ns SPTR的检测器上重构出20ps的瞬态图像,时间分辨率提升了64倍。

本文介绍了一种新的非视距（NLOS）目标定位方法，该方法基于多输入多输出（MIMO）超宽带（UWB）雷达。这种方法利用多域特征，包括距离-多普勒（RD）特征，以提高目标定位的准确性。

Metasight是一种新型的非视距（NLoS）雷达感知系统，旨在解决现有NLoS雷达系统对大型环境反射体的依赖问题。传统NLoS雷达需要大型环境反射体，其尺寸与所需的角分辨率和覆盖范围成比例，限制了其在实际场景中的部署。Metasight利用精心设计的被动毫米波超表面反射器和新颖的角度编码方案，显著减小了反射器的尺寸。这些超表面反射器完全被动、成本低廉，可通过3D打印和铜带简单制造。Metasight的核心技术。

本文研究了粗糙中继表面(RRS)散射条件下的毫米波无视线雷达感知系统。提出了考虑微小面模型的随机RRS模型,并推导出MIMO FMCW毫米波雷达信号张量模型。设计了三阶段恢复算法(SGTR),充分利用虚拟目标信息进行目标定位和速度估计。仿真和实验结果表明,该方法可以提高粗糙环境下的目标感知精度。

系统能耗4.4nJ每帧,能效达7.48×104 TOPS/W,分别高出最新GPU 3和1个数量级。注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文.注2: 论文速览十分粗略，仅起到及时介绍的目的。若希望详细了解，强烈建议阅读原文。ACCEL每帧处理时间由重置、响应和积累时间组成,实测积累时可达2.1ns。ACCEL开启了集成光电子计算的新范式,在实际视觉任务中展现巨大应用前景。利用LeNet等效运算量评估,ACCEL仍大幅优于最新数字神经网络芯片。

研究非视距(NLOS)毫米波(MMW)MIMO测距雷达在L型场景下的多目标定位问题建立包含距离、多普勒、出射方向(DoD)和到达方向(DoA)信息的多径信号模型提出一种基于DoD和DoA联合估计的多径识别方法,可有效抑制多径干扰实验验证了该方法在存在多个NLOS目标时可实现高精度定位及低误报率这篇论文研究了非视距(NLOS)毫米波(MMW)MIMO雷达在L型场景下的多目标定位问题。主要贡献有:建立了包含距离、多普勒频移、出射方向(DoD)和到达方向(DoA)信息的多径信号模型。

综上所述,本文提出了一种高效的基于学习的单光子3D成像压缩方法,为构建实用的高分辨率单光子3D相机提供了重要基础。与基线相比,学习到的时空编码张量能提供高达两个数量级的数据压缩,同时保持3D成像质量。注1:本文系“最新论文速览”系列之一,致力于简洁清晰地介绍、解读最新的顶会/顶刊论文。本文提出了一种基于学习的压缩表示法,用于单光子3D成像的直方图张量。与仅利用时间信息的编码相比,提出的方法在低信噪比条件下表现更好。功耗分析表明提出的压缩直方图设计在硬件上是可行的。在实际数据上也展示了提出方法的有效性。

非视距成像(NLOS)是通过脉冲激光和时间分辨检测器来成像隐藏物体的技术。大多数基于物理的NLOS成像方法通过假设三次反射和无自遮挡来简化问题。但是这些假设在具有大的深度变化的物体上会失效,导致无法准确重建高频信息。基于学习的方法可以避免这些假设,但是由于神经网络的频域偏置,它们在没有特定设计的情况下也会在重建细节时受到限制。本文提出了一种新方法,通过在频域中引入可学习的逆内核和注意力机制来解决这些问题。

本文针对NLOS中的弱目标回波提取问题,提出了双探测器方法和流水线方法,前者利用空间时间相关性提高静止目标探测能力,后者利用时间相关性提取运动目标轨迹。这两种方法都不依赖直接累积而是利用相关性特征进行滤波,可有效突出弱目标回波,减少误报概率,对NLOS成像和定位有重要意义。将两种方法结合,实现了对弱目标的定位和跟踪,证明了基于时间相关性特征滤波的有效性。本文提出了两种在非视距成像(NLOS)中提取弱目标回波的新方法。双探测器方法能增强对静止弱目标的探测。流水线方法能跟踪运动弱目标的轨迹。

NLOS成像用于从间接光线推断不可见场景。NeTF用于在NLOS场景中表示场景作为神经辐射场。本文提出NLOS-NeuS,将NeTF扩展为带有符号距离函数(SDF)的神经隐式表面,以在NLOS场景中重建三维表面。

本文提出了HADAR框架,实现了利用热辐射进行无源探测与测距。HADAR克服了传统热成像的局限,提供清晰视觉效果。测距与定位性能也得到大幅提升。HADAR技术可推动自动驾驶、医疗监测等领域发展,对工业4.0具有重要意义。总体来说,本文通过TeX分解与TeX视觉,成功利用热辐射信号实现被动探测与测距,是该领域的重要进展。HADAR数据库与原型机验证了方法的有效性。信息理论下限也为进一步研究提供理论指导。本文为基于热信号的智能感知打开新的视野。

本文提出了跨模态知识蒸馏的声学非视距成像方法。实验表明,这种方法可以充分利用两个模态的优势,使得模型对噪声更加鲁棒,同时能够很好地推广到未见过的物体。这为声学非视距成像提供了一个有前景的思路。通过图像网络指导音频网络的训练,音频网络获得了提取全局信息、进行高质量重建的能力。这种跨模态的框架设计也可推广到其他领域,是一种有效的知识迁移范式。

总的来说，非视域成像技术在近年来已取得了显著的进展，尤其是在基于飞行时间、相干信息和强度信息的非视域成像模式方面。尽管如此，我们仍然充满期待，因为随着技术的不断发展和进步，非视域成像技术的应用前景将更加广阔。尽管非视域成像技术在过去的几年中取得了显著的进步，但仍然面临许多挑战，包括硬件参数的限制、重建算法的复杂性、重建时间的长短以及图像分辨率的高低等。文章中介绍了三种非视域成像模式，包括基于飞行时间的非视域成像、基于相干信息的非视域成像（包括基于散斑图案和空间相干两种方法）、基于强度信息的非视域成像。

随着该领域技术的进步,分辨率、填充因子和帧率都可大幅提高,测量时间可降低数个数量级,有望实现更精细的非视距成像。总之,本文突破当前非视距成像只能对点目标进行定位或描绘的局限,实现了对复杂运动场景中多个目标及静态背景的捕捉。这样,前景物体产生的额外光子数量以及被遮蔽背景的光子数量减少,为重建物体形状和被遮蔽背景提供了信息。相比仅定位或描绘靶点,可检测运动目标的数量、确定其形状、位置、反射率等信息,并建立隐蔽区域的定位全图。本文提出的无需扫描的主动转角相机快照成像和背景建图方法,具有广阔的应用前景。

注1:本文系“计算成像最新论文速览”系列之一,致力于简洁清晰地介绍、解读非视距成像领域最新的顶会/顶刊论文(包括但不限于 Nature/Science及其子刊;Light‐Science & Applications, Optica 等)。本次介绍的论文是:<Applied Physics Letters, 2023 | Non-line-of-sight imaging with absorption backprojection。背景介绍。

在计算机视觉和机器人领域，非视距(NLOS)成像是一个非常重要的研究方向。NLOS成像的目标是通过障碍物（例如墙壁、门、窗户等）的反射，重建被遮挡的目标的形状，这在机器人视觉、自动驾驶、救援行动和遥感等应用中非常有价值。然而，现有的NLOS成像算法通常需要在较大区域的中继表面上进行密集测量，这严重限制了它们在实际应用中的可用性。为了解决这个问题，Liu等人在2023年的。

非视距成像通过分析物体对光线的散射,来恢复被遮挡区域的信息。它在国防、搜救和自动驾驶等领域有广泛应用。遮挡成像法:利用场景中的天然遮挡物,在散射面上形成信息丰富的阴影,从而恢复隐藏场景。光场法:捕获散射光线的角度和位置信息,来定位隐藏场景中的光源。然而,真实场景中的杂散光线(如图1中的Clutter region)会对成像造成严重干扰。目前的去杂光技术主要基于以下假设:背景减除法:需要提前测量或模拟杂散光线。帧差分法:假设杂散光线静止,而目标运动。慢变假设:假设杂散光线在散射面上变化缓慢。