领域论文 | DiffusionModel（扩散模型）系列论文总结

作者 | eyesighting 编辑 | 自动驾驶之心

原文链接：https://zhuanlan.zhihu.com/p/3430647040

点击下方卡片，关注“自动驾驶之心”公众号

戳我-> 领取自动驾驶近15个方向学习路线

>>点击进入→自动驾驶之心『扩散模型』技术交流群

本文只做学术分享，如有侵权，联系删文

前言

文总结了DiffusionModel(扩散模型)系列论文，包含：检测、跟踪、分割、深度估计、BEV、NeRF、GS、蒸馏、LLIE、轨迹预测/生成、视频生成、点云匹配、语音、规划、数据增强等领域，总计56篇论文，可作为科研、开发的参考资料。

1.Efficient/高效

MobileDiffusion

题目：MobileDiffusion: Subsecond Text-to-Image Generation on Mobile Devices

名称：MobileDiffusion：移动设备上的亚秒级文本到图像生成

论文：https://arxiv.org/abs/2311.16567

代码：

单位：谷歌

SparseDM

题目：SparseDM: Toward Sparse Efficient Diffusion Models

名称：稀疏DM：迈向稀疏高效扩散模型

论文：https://arxiv.org/abs/2404.10445

代码：

单位：清华、博世

AdaDiff

题目：AdaDiff: Accelerating Diffusion Models through Step-Wise Adaptive Computation

名称：AdaDiff：通过逐步自适应计算加速扩散模型

论文：https://arxiv.org/abs/2309.17074

代码：

单位：阿联酋人工智能大学、谷歌

DM-BlockCache

题目：Cache Me if You Can: Accelerating Diffusion Models through Block Caching

名称：如果可以的话缓存我：通过块缓存加速扩散模型

论文：https://arxiv.org/abs/2312.03209

代码：https://fwmb.github.io/blockcaching/

单位：

DistriFusion

题目：DistriFusion: Distributed Parallel Inference for High-Resolution Diffusion Models

名称：DistriFusion：高分辨率扩散模型的分布式并行推理

论文：https://arxiv.org/abs/2402.19481

代码：https://github.com/mit-han-lab/distrifuser

单位：MIT

LW-DM-NAS

题目：Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search

名称：基于蒸馏的块段神经结构搜索的轻量级扩散模型

论文：https://arxiv.org/abs/2311.04950

代码：

单位：清华大学

2.Det/目标检测

Diff3DETR

题目：Diff3DETR:Agent-based Diffusion Model for Semi-supervised 3D Object Detection

名称：Diff3DETR：基于Agent的半监督3D目标检测扩散模型

论文：https://arxiv.org/abs/2408.00286

代码：

单位：中科大

MonoWAD

题目：MonoWAD: Weather-Adaptive Diffusion Model for Robust Monocular 3D Object Detection

名称：MonoWAD：用于鲁棒单目3D目标检测的天气自适应扩散模型

论文：https://arxiv.org/abs/2407.16448

代码：https://github.com/VisualAIKHU/MonoWAD

单位：庆熙大学

DifFUSER

题目：DifFUSER: Diffusion Model for Robust Multi-Sensor Fusion in 3D Object Detection and BEV Segmentation

名称：DifFUSER:3D目标检测和BEV分割中鲁棒多传感器融合的扩散模型

论文：https://arxiv.org/abs/2404.04629

代码：

单位：蒙纳士大学、湖南大学

DiffYOLO

题目：DiffYOLO: Object Detection for Anti-Noise via YOLO and Diffusion Models

名称：DiffYOLO：通过YOLO和扩散模型进行抗噪声目标检测

论文：https://arxiv.org/abs/2401.01659

代码：

单位：中国科学院大学

Diffusion-SS3D

题目：Diffusion-SS3D: Diffusion Model for Semi-supervised 3D Object Detection

名称：Diffusion-SS3D：半监督3D目标检测的扩散模型

论文：https://arxiv.org/abs/2312.02966

代码：https://github.com/luluho1208/Diffusion-SS3D

单位：台湾阳明交通大学

3DifFusionDet

题目：3DifFusionDet: Diffusion Model for 3D Object Detection with Robust LiDAR-Camera Fusion

名称：3DifFusionDet：基于稳健激光雷达相机融合的3D目标检测扩散模型

论文：https://arxiv.org/abs/2311.03742

代码：

单位：加利福尼亚大学

Diff3Det

题目：Diffusion-based 3D Object Detection with Random Boxes

名称：使用随机框进行基于扩散的 3D 对象检测

论文：https://arxiv.org/abs/2309.02049

代码：

单位：华中科技大学

SVDM

题目：SVDM: Single-View Diffusion Model for Pseudo-Stereo 3D Object Detection

名称：SVDM：伪立体3D目标检测的单视图扩散模型

论文：https://arxiv.org/abs/2307.02270

代码：

单位：南京大学

CamoDiffusion

题目：CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models

名称：CamoDiffusion：基于条件扩散模型的伪装目标检测

论文：https://arxiv.org/abs/2305.17932

代码：

单位：厦门大学

DiffusionDet

题目：DiffusionDet: Diffusion Model for Object Detection

名称：DiffusionDet：目标检测的扩散模型

论文：https://arxiv.org/abs/2211.09788

代码：https://github.com/ShoufaChen/DiffusionDet

单位：香港大学

4.Trcking/跟踪

DaDiff

题目：DaDiff: Domain-aware Diffusion Model for Nighttime UAV Tracking

名称：DaDiff：夜间无人机跟踪的域感知扩散模型

论文：https://arxiv.org/abs/2410.12270

代码：https://github.com/vision4robotics/DaDiff

单位：香港大学

DiffusionTrack

题目：DiffusionTrack: Diffusion Model For Multi-Object Tracking

名称：扩散跟踪：多目标跟踪的扩散模型

论文：https://arxiv.org/abs/2308.09905

代码：https://github.com/RainBowLuoCS/DiffusionTrack

单位：中科院深圳先进技术研究院

5.Seg/分割

LaneSeg-DM

题目：Lane Segmentation Refinement with Diffusion Models

名称：基于扩散模型的车道分割细化

论文：https://arxiv.org/abs/2405.00620

代码：

单位：华为

DiffMap

题目：DiffMap: Enhancing Map Segmentation with Map Prior Using Diffusion Model

名称：DiffMap：使用扩散模型增强地图先验的地图分割

论文：https://arxiv.org/abs/2405.02008

代码：

单位：清华、戴姆勒

6.Depth/深度估计

Diffusion4RobustDepth

题目：Diffusion Models for Monocular Depth Estimation: Overcoming Challenging Conditions

名称：单目深度估计的扩散模型：克服挑战性条件

论文：https://arxiv.org/abs/2407.16698

代码：https://github.com/fabiotosi92/Diffusion4RobustDepth

单位：博洛尼亚大学

D4RD

题目：Digging into contrastive learning for robust depth estimation with diffusion models

名称：利用扩散模型进行鲁棒深度估计的对比学习研究

论文：https://arxiv.org/abs/2404.09831

代码：https://github.com/wangjiyuan9/D4RD

单位：南洋理工大学

MVDD

题目：MVDD: Multi-View Depth Diffusion Models

名称：MVDD：多视图深度扩散模型

论文：https://arxiv.org/abs/2312.04875

代码：

单位：谷歌

MonoDiffusion

题目：MonoDiffusion: Self-Supervised Monocular Depth Estimation Using Diffusion Model

名称：单扩散：基于扩散模型的自监督单目深度估计

论文：https://arxiv.org/abs/2311.07198

代码：https://github.com/ShuweiShao/MonoDiffusion

单位：北航、百度

OF-MDE-DM

题目：The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation

名称：扩散模型在光流和单眼深度估计中的惊人有效性

论文：https://arxiv.org/abs/2306.01923

代码：https://diffusion-vision.github.io/

单位：DeepMind、谷歌

DepthGen

题目：Monocular Depth Estimation using Diffusion Models

名称：基于扩散模型的单目深度估计

论文：https://arxiv.org/abs/2302.14816

代码：https://depth-gen.github.io/

单位：谷歌

7.BEV/鸟瞰图

Diff-BEV

题目：DiffBEV: Conditional Diffusion Model for Bird's Eye View Perception

名称：DiffBEV：鸟瞰感知的条件扩散模型

论文：https://arxiv.org/abs/2303.08333

代码：https://github.com/JiayuZou2020/DiffBEV

单位：中科院自动化研究所

8.Gaussion/高斯

GaussianDiffusion

题目：GaussianDiffusion: 3D Gaussian Splatting for Denoising Diffusion Probabilistic Models with Structured Noise

名称：高斯扩散：用于去噪具有结构噪声的扩散概率模型的3D高斯散斑

论文：https://arxiv.org/abs/2311.11221

代码：

单位：哈尔滨工业大学(深圳)

9.NeRF/神经网络辐射场

Inpaint4DNeRF

题目：Inpaint4DNeRF: Promptable Spatio-Temporal NeRF Inpainting with Generative Diffusion Models

名称：Inpaint4DNeRF：基于生成扩散模型的可促进时空NeRF Inpainting

论文：https://arxiv.org/abs/2401.00208

代码：

单位：香港科技大学

Edit-DiffNeRF

题目：Edit-DiffNeRF: Editing 3D Neural Radiance Fields using 2D Diffusion Model

名称：编辑DiffNeRF：使用2D扩散模型编辑3D神经辐射场

论文：https://arxiv.org/abs/2306.09551

代码：

单位：詹姆斯·库克大学

DiffusioNeRF

题目：DiffusioNeRF: Regularizing Neural Radiance Fields with Denoising Diffusion Models

名称：扩散RF：用去噪扩散模型正则化神经辐射场

论文：https://arxiv.org/abs/2302.12231

代码：https://www.github.com/nianticlabs/diffusionerf

单位：NianticLabs

10.Diffusion/蒸馏

LoRA-Diffusion-DM

题目：LoRA-Enhanced Distillation on Guided Diffusion Models

名称：基于引导扩散模型的LoRA增强蒸馏

论文：https://arxiv.org/abs/2312.06899

代码：

单位：微软

11.LLIE/低照度图像增强

LightenDiffusion

题目：LightenDiffusion: Unsupervised Low-Light Image Enhancement with Latent-Retinex Diffusion Models

名称：LightenDiffusion：基于潜在视网膜扩散模型的无监督低光图像增强

论文：https://arxiv.org/abs/2407.08939

代码：https://github.com/JianghaiSCU/LightenDiffusion

单位：四川大学

Spatial-Entropy-Loss

题目：Equipping Diffusion Models with Differentiable Spatial Entropy for Low-Light Image Enhancement

名称：为扩散模型配备可微分空间熵以增强低光图像

论文：https://arxiv.org/abs/2404.09735

代码：https://github.com/shermanlian/spatial-entropy-loss

单位：乌普萨拉大学

LDM-ISP

题目：LDM-ISP: Enhancing Neural ISP for Low Light with Latent Diffusion Models

名称：LDM-ISP：利用潜在扩散模型增强低光下的神经ISP

论文：https://arxiv.org/abs/2312.01027

代码：https://csqiangwen.github.io/projects/ldm-isp/

单位：香港科技大学

LLDif

题目：LLDif: Diffusion Models for Low-light Emotion Recognition

名称：LLDif：低光情绪识别的扩散模型

论文：https://arxiv.org/abs/2408.04235

代码：澳大利亚国立大学

单位：

LLDiffusion

题目：LLDiffusion: Learning Degradation Representations in Diffusion Models for Low-Light Image Enhancement

名称：LLDiffusion：学习低光图像增强扩散模型中的退化表示

论文：https://arxiv.org/abs/2307.14659

代码：https://github.com/TaoWangzj/LLDiffusion

单位：南京大学

12.Trajectory/轨迹

TrajDiffuse

题目：TrajDiffuse: A Conditional Diffusion Model for Environment-Aware Trajectory Prediction

名称：轨迹扩散：一种用于环境感知轨迹预测的条件扩散模型

论文：https://arxiv.org/abs/2410.10804

代码：

单位：罗格斯大学

Map2Traj

题目：Map2Traj: Street Map Piloted Zero-shot Trajectory Generation with Diffusion Model

名称：Map2Traj:基于扩散模型的零样本轨迹生成街道地图

论文：https://arxiv.org/abs/2407.19765

代码：

单位：东南大学

SingularTrajectory

题目：SingularTrajectory: Universal Trajectory Predictor Using Diffusion Model

名称：SingularTrajectory：使用扩散模型的通用轨迹预测器

论文：https://arxiv.org/abs/2403.18452

代码：https://github.com/inhwanbae/SingularTrajectory

单位：光州科技大学

IDM

题目：Intention-aware Denoising Diffusion Model for Trajectory Prediction

名称：轨迹预测的意图感知去噪扩散模型

论文：https://arxiv.org/abs/2403.09190

代码：

单位：浙江大学

Diff-RNTraj

题目：Diff-RNTraj: A Structure-aware Diffusion Model for Road Network-constrained Trajectory Generation

名称：Diff-RNTrai：一种用于道路网络约束轨迹生成的结构感知扩散模型

论文：https://arxiv.org/abs/2402.07369

代码：

单位：北京交通大学

EquiDiff

题目：EquiDiff: A Conditional Equivariant Diffusion Model For Trajectory Prediction

名称：EquiDiff：一种用于轨迹预测的条件等变扩散模型

论文：https://arxiv.org/abs/2308.06564

代码：

单位：香港科技大学

13.Video/视频

4Diffusion

题目：4Diffusion: Multi-view Video Diffusion Model for 4D Generation

名称：4Diffusion：用于4D生成的多视图视频扩散模型

论文：https://arxiv.org/abs/2405.20674

代码：https://aejion.github.io/4diffusion/

单位：北航、上海AILab

DrivingDiffusion

题目：DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model

名称：DrivingDiffusion：基于潜在扩散模型的布局引导多视图驾驶场景视频生成

论文：https://arxiv.org/abs/2310.07771

代码：DrivingDiffusion: Layout-Guided multi-view driving scene video generation with latent diffusion model

单位：百度

14.PointCloud/点云

PCRDiffusion

题目：PCRDiffusion: Diffusion Probabilistic Models for Point Cloud Registration

名称：PCRDDiffusion：点云配准的扩散概率模型

论文：https://arxiv.org/abs/2312.06063

代码：

单位：西安电子科技大学

SPVD

题目：Efficient and Scalable Point Cloud Generation with Sparse Point-Voxel Diffusion Models

名称：基于稀疏点体素扩散模型的高效可扩展点云生成

论文：https://arxiv.org/abs/2408.06145

代码：https://github.com/JohnRomanelis/SPVD

单位：‌派图拉斯大学

DiffusionPCR

题目：DiffusionPCR: Diffusion Models for Robust Multi-Step Point Cloud Registration

名称：DiffusionPCR：稳健多步点云配准的扩散模型

论文：https://arxiv.org/abs/2312.03053

代码：

单位：华中科技大学

15.Speech/语音

FastDiff

题目：FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis

名称：FastDiff：一种用于高质量语音合成的快速条件扩散模型

论文：https://arxiv.org/abs/2204.09934

代码：https://fastdiff.github.io/

单位：浙江大学、腾讯AILab

16.Planning/规划

AdaptDiffuser

题目：AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners

名称：AdaptDiffuser：作为自适应自进化规划器的扩散模型

论文：https://arxiv.org/abs/2302.01877

代码：https://github.com/Liang-ZX/adaptdiffuser

单位：香港大学、加州大学伯克利

DiMSam

题目：DiMSam: Diffusion Models as Samplers for Task and Motion Planning under Partial Observability

名称：DiMSam：在部分可观测性下作为任务和运动规划采样器的扩散模型

论文：https://arxiv.org/abs/2306.13196

代码：

单位：MIT、英伟达

17.DataAug/数据增强

DatasetDM

题目：DatasetDM: Synthesizing Data with Perception Annotations Using Diffusion Models

名称：DatasetDM：使用扩散模型合成带有感知注释的数据

论文：https://arxiv.org/abs/2308.06160

代码：https://github.com/showlab/DatasetDM

单位：浙江大学

DreamDA

题目：DreamDA: Generative Data Augmentation with Diffusion Models

名称：DreamDA：基于扩散模型的生成数据增强

论文：https://arxiv.org/abs/2403.12803

代码：https://github.com/yunxiangfu2001/DreamDA

单位：香港大学、上海AILab

3D-VirtFusion

题目：3D-VirtFusion: Synthetic 3D Data Augmentation through Generative Diffusion Models and Controllable Editing

名称：3D虚拟融合：通过生成扩散模型和可控编辑进行合成3D数据增强

论文：https://arxiv.org/abs/2408.13788

代码：

单位：南洋理工大学

18.Scene/场景

RefFusion

题目：RefFusion: Reference Adapted Diffusion Models for 3D Scene Inpainting

名称：RefFusion：用于3D场景镶嵌的参考自适应扩散模型

论文：https://arxiv.org/abs/2404.10765

代码：https://reffusion.github.io/

单位：英伟达

LidarDiffusion

题目：Towards Realistic Scene Generation with LiDAR Diffusion Models

名称：基于激光雷达扩散模型的真实场景生成

论文：https://arxiv.org/abs/2404.00815

代码：https://lidar-diffusion.github.io/

单位：CMU