通街市密人有-优快云博客

原创 Rethinking Transformer-Based Blind-Spot Network for Self-Supervised Image Denoising

盲点网络（Blind-spot networks，BSN）是自监督图像去噪（self-supervised image notifying，SSID）中常用的神经网络结构，但大多数现有的BSN都是在卷积层上进行的。虽然transformers在许多图像恢复任务中表现出克服卷积限制的潜力，但其注意机制可能违反盲点要求，从而限制了其在BSN中的适用性。为此，我们提出分析和重新设计通道和空间注意以满足盲点要求。具体来说，通道自注意可能会泄漏多尺度结构中的盲点信息，由于下采样将空间特征混洗到通道维度中。

2025-03-09 17:39:01 834

原创 Denoising as Adaptation Noise-Space Domain Adaptation for Image Restoration

尽管基于学习的图像恢复方法取得了重大进展，但由于合成数据训练造成的巨大领域差距，它们仍然难以对现实世界场景进行有限的泛化。现有的方法通过改进数据合成管道、估计退化核、采用深度内部学习以及执行域自适应和正则化来解决这个问题。先前的域自适应方法试图通过在特征或像素空间中学习域不变知识来弥合域差距。然而，这些技术往往难以在稳定紧凑的框架内扩展到低级视觉任务。在本文中，我们证明了使用扩散模型通过噪声空间进行域自适应是可能的。

2025-03-09 17:30:11 1212

原创 Image Restoration via Frequency Selection

图像恢复旨在从损坏的图像中重建潜在的清晰图像。除了在空间域中处理这一长期任务外，一些方法还通过考虑清晰/退化图像对光谱之间的巨大差异在频域中寻求解决方案。然而，这些算法通常利用小波变换等变换工具将特征分解为几个频率部分，这不够灵活，无法选择最具信息量的频率分量进行恢复。本文中，我们开发了一个多分支和内容感知模块，将特征动态地和局部地分解为单独的频率子带，然后通过逐信道的注意力权重来强调有用的子带。此外，为了处理大规模退化模糊，我们提出了一种极其简单的解耦和调制模块，通过全局和基于窗口的平均池来扩大感受野。

2025-03-01 16:35:24 1030

原创 Boosting ViT-based MRI Reconstruction from the Perspectives of Frequency Modulation, SP and SD

由于k空间中广泛的欠采样，加速的MRI重建过程提出了一个具有挑战性的不适定逆问题。最近，视觉Transformer（ViT）已经成为该任务的主流，显示了实质性的性能改进。然而，仍然有三个重要的问题没有得到解决：（1）ViT难以捕获图像的高频分量，限制了它们检测局部纹理和边缘信息的能力，从而阻碍了MRI恢复；（2）以往的方法计算内容中相关和不相关标记之间的多头自注意（MSA），引入噪声并显著增加计算负担；

2025-03-01 16:19:50 760

原创 WIA-LD2ND: Wavelet-based Image Alignment for Self-supervised Low-Dose CT Denoising

在临床检查和诊断中，与正常剂量计算机断层扫描（NDCT）相比，低剂量计算机断层摄影（LDCT）对于最大限度地降低健康风险至关重要。然而，减少辐射剂量会损害信噪比，导致CT图像质量下降。为了解决这个问题，我们从频率的角度分析了基于实验结果的LDCT去噪任务，然后介绍了一种新的自监督CT图像去噪方法WIA-LD2ND，仅使用NDCT数据。所提出的WIA-LD2ND包括两个模块：基于小波的图像对齐（WIA）和频率感知多尺度损失（FAM）。

2025-02-17 18:01:29 640

原创 Generative Adversarial Network with Robust Discriminator Through Multi-Task Learning for LDCT

减少计算机断层扫描（CT）中的辐射剂量对于降低继发性癌症风险至关重要。然而，低剂量CT（LDCT）图像的使用伴随着噪声的增加，这可能会对诊断产生负面影响。尽管已经开发了许多用于LDCT去噪的深度学习算法，但仍然存在一些挑战，包括放射科医生经历的视觉不一致、各种指标的性能不令人满意，以及对网络在其他CT领域的鲁棒性探索不足。为了解决这些问题，本研究提出了三个新的补充。首先，我们通过多任务学习提出了一种具有鲁棒鉴别器的生成对抗网络（GAN），该网络同时执行三个视觉任务：恢复、图像级和像素级决策。

2024-12-26 22:25:18 711

原创 XCopy: Boosting Weak Links for Reliable LoRa Communication

由于信号衰减和阻塞，LoRaWAN在长通信范围内遭受严重的性能下降。为了保证可靠的数据传输，LoRaWAN采用重传机制，对未确认的数据包进行多次重传，希望在恶劣的无线信道上至少成功发送一次。这种重传机制不适合LoRa: 1)不成功的重传会导致电池供电的LoRa节点的高功耗，2)在另一个时间重传并不一定会提高恶劣无线信道上的信号强度。本文介绍了XCopy的设计和实现，它通过相干地组合在弱链路上接收的重传数据包，有效地提高了信号强度，否则将被丢弃。

2024-11-24 18:56:29 1112 1

原创 Random Noise Injection on Feature Statistics for Generalizable Deep Image Denoising

广义深度图像去噪的最新进展促进了鲁棒噪声处理模型的发展。目前最先进的Masked Training（MT）构建了一个蒙面SwinIR模型，该模型仅对高斯噪声（σ=15）进行训练，但可以在各种噪声类型（即斑点噪声，泊松噪声）中实现令人满意的去噪性能。然而，该方法虽然侧重于内容重建，但往往会产生过度平滑的图像，并且在蒙版比例优化方面存在挑战，使其与其他方法的集成变得复杂。作为回应，本文介绍了RNINet，一种基于流线型编码器-解码器框架的新型架构，以提高效率和整体性能。

2024-11-20 21:01:37 704

原创 Frequency-aware Feature Fusion for Dense Image Prediction

密集图像预测任务要求具有高分辨率的强类别信息和精确的空间边界细节特征。为了实现这一点，现代分层模型通常利用特征融合，直接添加来自深层的上采样粗特征和来自较低层次的高分辨率特征。在本文中，我们观察到融合特征值在对象内的快速变化，由于高频特征的干扰导致类别内不一致。此外，融合特征中模糊的边界缺乏准确的高频，导致边界位移。基于这些观察结果，我们提出了频率感知特征融合（FreqFusion），集成了自适应低通滤波器（ALPF）生成器，偏移生成器和自适应高通滤波器（AHPF）生成器。

2024-11-11 19:19:16 1729

原创 Wavelet Convolutions for Large Receptive Fields

近年来，人们一直试图增加卷积神经网络（CNN）的核大小，以模拟Vision Transformer（ViT）的全局感受野自注意块。然而，这种方法在达到全局感受野之前很快就达到了上限和饱和。在这项工作中，我们证明了通过利用小波变换（WT），实际上可以在不受过度参数化影响的情况下获得非常大的感受野，例如，对于k × k的感受野，所提出的方法中可训练参数的数量仅随k呈对数增长。所提出的层，称为WTConv，可以用作现有架构中的临时替代品，产生有效的多频响应。并随着感受野的大小优雅地缩放。

2024-10-16 19:48:11 2370

原创 Frequency-Adaptive Dilated Convolution for Semantic Segmentation

膨胀卷积通过在连续元素之间插入间隙来扩展感受野，在计算机视觉中得到了广泛的应用。在本研究中，我们从频谱分析的角度提出了三种策略来改进膨胀卷积的各个阶段。与将全局膨胀率固定为超参数的传统做法不同，我们引入了频率自适应膨胀卷积（FADC），它基于局部频率分量在空间上动态调整膨胀率。随后，我们设计了两个插件模块来直接提高有效带宽和感受野大小。自适应核（AdaKern）模块将卷积权重分解为低频和高频分量，并在每个通道的基础上动态调整这些分量之间的比例。

2024-10-16 19:39:33 1571

原创 ZigMa: A DiT-style Zigzag Mamba Diffusion Model

扩散模型长期以来一直受到可扩展性和二次复杂度问题的困扰，特别是在基于Transformer的结构中。在本研究中，我们的目标是利用称为Mamba的状态空间模型的长序列建模能力来扩展其对可视化数据生成的适用性。首先，我们确定了目前大多数基于Mamba的视觉方法中的一个关键疏忽，即在Mamba扫描方案中缺乏对空间连续性的考虑。

2024-10-09 22:01:46 1064

原创 When NAS Meets Robustness: In Search of Robust Architectures against Adversarial Attacks

对抗性攻击的最新进展揭示了现代深度神经网络的内在脆弱性。从那时起，大量的研究致力于通过专门的学习算法和损失函数来增强深度网络的鲁棒性。在这项工作中，我们从体系结构的角度研究了能够抵御对抗性攻击的网络体系结构模式。为了获得本研究所需的大量网络，我们采用one-shot网络架构搜索，对一个大网络进行一次训练，然后对从中采样的子网络进行微调。采样的结构及其所达到的精度为我们的研究提供了丰富的基础。

2024-09-19 18:54:19 744

原创 Robust Image Denoising through Adversarial Frequency Mixup

基于深度神经网络的图像去噪方法经常与训练数据中存在的特定噪声分布的过拟合作对抗。这一挑战存在于现有的现实世界去噪网络中，这些网络使用有限的真实噪声分布谱进行训练，因此对分布外的真实噪声类型表现出较差的鲁棒性。为了缓解这个问题，我们开发了一种新的训练框架，称为对抗性混频(AFM)。AFM利用频域的混合产生具有独特和具有挑战性的噪声特征的噪声图像，同时保留真实世界噪声的属性。随后，将这些噪声图像纳入训练pipeline中，增强去噪网络对噪声分布变化的鲁棒性。

2024-09-11 21:31:29 1438

原创 RACL: Adversarially Robust Neural Architectures

深度神经网络(DNN)容易受到对抗性攻击。现有的方法致力于开发各种鲁棒训练策略或正则化来更新神经网络的权值。但除了权重之外，网络中的整体结构和信息流是由网络架构明确决定的，这一点尚未被探索。因此，本文旨在从体系结构的角度提高网络的对抗鲁棒性。我们探讨了对抗鲁棒性、Lipschitz常数和结构参数之间的关系，并表明对结构参数进行适当的约束可以降低Lipschitz常数，从而进一步提高鲁棒性。体系结构参数的重要性可能因操作或连接而异。

2024-08-27 19:30:48 1109

原创 NADAR: Neural Architecture Dilation for Adversarial Robustness

在过去的几十年里，卷积神经网络(CNN)在架构和规模上取得了巨大的进步，在某些任务中，它们可以很容易地达到甚至超过人类的表现。然而，最近发现CNN的一个缺点是容易受到对抗性攻击。虽然CNN的对抗鲁棒性可以通过对抗训练来提高，但在标准精度和对抗鲁棒性之间存在权衡。从神经结构的角度，本文旨在提高具有满意精度的骨干CNN的对抗鲁棒性。在最小的计算开销下，扩展架构的引入有望与骨干CNN的标准性能友好，同时追求对抗性的鲁棒性。

2024-08-22 19:43:31 741

原创 Anti-Bandit Neural Architecture Search for Model Defense

深度卷积神经网络(DCNNs)在机器学习中表现最好，但也可能受到对抗性攻击的挑战。在本文中，我们使用基于去噪块、无权重操作、Gabor滤波器和卷积的综合搜索的神经结构搜索(NAS)来防御对抗性攻击。由此产生的Anti-BanditNAS (ABanditNAS)包含了一种新的基于上下置信限(LCB和UCB)的作战评价度量和搜索过程。与仅使用UCB进行评估的传统强盗算法不同，我们使用UCB来abandon arms以提高搜索效率，使用LCB来实现武器之间的公平竞争。

2024-08-19 21:38:42 712

原创 FreeU: Free Lunch in Diffusion U-Net

在本文中，我们揭示了扩散U-Net尚未开发的潜力，它可以作为“免费午餐”，在运行中大幅提高生成质量。我们首先研究了U-Net架构对去噪过程的关键贡献，并确定其主要backbone主要有助于去噪，而其跳跃连接主要将高频特征引入解码器模块，导致网络忽略backbone语义。利用这一发现，我们提出了一种简单而有效的方法-称为“FreeU”-无需额外的培训或微调即可提高生成质量。我们的关键见解是战略性地重新权衡来自U-Net的跳跃连接和backbone特征映射的贡献，以利用U-Net架构的两个组件的优势。

2024-07-22 19:06:57 1007

原创 CrossKD: Cross-Head Knowledge Distillation for Dense Object Detection

知识蒸馏(Knowledge Distillation, KD)是一种有效的学习紧凑目标检测器的模型压缩技术。现有最先进的KD检测方法大多基于特征模仿。在本文中，我们提出了一种通用且有效的预测模拟蒸馏方案，称为CrossKD，它将学生检测头的中间特征传递给教师检测头。由此产生的十字预测，然后被迫模仿老师的预测。这种方式使学生头从注释和老师的预测中接收到相互矛盾的监督信号，大大提高了学生的检测性能。此外，由于模仿老师的预测是KD的目标，与特征模仿相比，CrossKD提供了更多面向任务的信息。

2024-07-18 20:56:03 1500

原创 PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient

知识蒸馏(Knowledge distillation, KD)是一种广泛应用于目标检测的训练紧凑模型的技术。然而，对于如何在异构检测器之间进行蒸馏，目前还缺乏相关的研究。在本文中，我们经验地发现来自异构教师检测器的更好的FPN特征可以帮助学生，尽管他们的检测头和标签分配是不同的。然而，直接将特征映射与蒸馏检测器对齐存在两个问题。首先，教师和学生之间特征大小的差异可能会对学生施加过于严格的约束。

2024-07-18 20:38:18 1181

原创 Visible and Clear: Finding Tiny Objects in Difference Map

微小目标检测是目标检测领域的关键问题之一。大多数通用检测器的性能在微小目标检测任务中显著下降。主要的挑战在于如何提取微小物体的有效特征。现有的方法通常是基于生成的特征增强，这种方法受到虚假纹理和伪影的严重影响，难以使微小物体的特征清晰可见，便于检测。为了解决这一问题，我们提出了一种自重构微小目标检测(SR-TOD)框架。我们首次在检测模型中引入了自重构机制，并发现了自重构机制与微小目标之间的强相关性。具体地说，我们在检测器的颈部之间施加一个重建头，构建重建图像与输入的差分图，显示出对微小物体的高灵敏度。

2024-07-17 17:05:36 1228

原创 Deep Filtered Back Projection for CT Reconstruction

滤波反投影(FBP)是一种经典的计算机断层扫描(CT)重建解析算法，具有很高的计算效率。然而，用FBP重建的图像往往存在过多的噪声和伪影。原始的FBP算法使用窗函数平滑信号，并使用线性插值来估计非采样位置的投影值。在本研究中，我们提出了一个名为DeepFBP的新框架，其中通过神经网络学习优化的滤波器和优化的非线性插值算子。具体来说，学习到的滤波器可以看作是优化后的窗函数与斜坡滤波器的乘积，学习到的插值可以看作是通过非线性组合来优化利用附近位置投影信息的一种方法。

2024-07-06 17:58:37 840

原创 Towards Accurate and Robust Architectures via Neural Architecture Search

为了保护深度神经网络免受对抗性攻击，对抗性训练因其有效性而受到越来越多的关注。然而，对抗训练的准确性和鲁棒性受到体系结构的限制，因为对抗训练通过调整隶属于体系结构的权重连接来提高准确性和鲁棒性。在这项工作中，我们提出了ARNAS来搜索对抗训练的准确和健壮的架构。首先，我们设计了一个准确和鲁棒的搜索空间，其中单元格的位置和滤波器数量的比例关系是仔细确定的。通过将准确的结构和鲁棒的结构分别部署到敏感位置，使结构既具有精度又具有鲁棒性。

2024-07-06 17:49:54 830

原创 FOURIER NEURAL OPERATOR FOR PARAMETRIC PARTIAL DIFFERENTIAL EQUATIONS

神经网络的经典发展主要集中在有限维欧几里得空间之间的学习映射。最近，这被推广到学习函数空间之间映射的神经算子。对于偏微分方程，神经算子直接学习从任意函数参数依赖到解的映射。因此，他们学习了整个偏微分方程家族，而不像经典方法只解一个方程实例。在这项工作中，我们通过直接在傅里叶空间中参数化积分核来制定一个新的神经算子，允许一个表达和高效的架构。我们对Burgers方程、Darcy流和Navier-Stokes方程进行了实验。傅里叶神经算子是第一个成功模拟zero-shot超分辨率湍流的基于ML的方法。

2024-05-22 17:29:19 1415

原创 Fast deep learning based reconstruction for limited angle tomography

计算机断层扫描的一个主要挑战是从不完整的数据中重建物体。对于这些问题，一个日益流行的解决方案是将深度学习模型整合到重建算法中。本文介绍了一种将傅里叶神经算子(FNO)集成到滤波后反投影(FBP)重建方法中的新方法，得到了FNO反投影(FNO-BP)网络。我们采用矩条件进行正弦图外推，以帮助模型从有限的数据中减轻伪影。值得注意的是，我们的深度学习架构保持了与经典滤波后投影(FBP)重建相当的运行时，确保了推理和训练期间的快速性能。

2024-05-20 19:00:56 1051

原创 Revitalizing MLP’s Ability to Efficiently Extract Long-Distance Dependencies for Medical Image

基于深度学习网络的医学图像分割方法主要分为CNN和Transformer。然而，CNN很难捕获长距离依赖关系，而Transformer的计算复杂度高，局部特征学习能力差。为了有效地提取和融合局部特征和远程依赖关系，本文提出了一种结合MLP的CNN模型Rolling-Unet。具体来说，我们提出了核心R-MLP模块，该模块负责学习整个图像在单一方向上的长距离依赖关系。通过对不同方向的R-MLP模块进行控制和组合，形成OR-MLP和DOR-MLP模块，以捕获多方向的远程依赖关系。

2024-05-08 18:24:46 1262

原创 KAN: Kolmogorov–Arnold Networks

论文链接：https://arxiv.org/abs/2404.19756代码链接：https://github.com/KindXiaoming/pyKAN项目链接：https://kindxiaoming.github.io/pyKAN/intro.html受Kolmogorov-Arnold表示定理的启发，我们提出Kolmogorov-Arnold网络(KAN)作为多层感知器(MLP)的有前途的替代品。MLP在节点(“神经元”)上有固定的激活函数，而KAN在边缘(“权重”)上有可学习的激活函数。KAN

2024-05-07 19:17:17 6478

空空如也

空空如也