AAAI2024最佳解读|Diverse and Stable 2D Diffusion Guided Text to 3D Generation with Noise Recalibration

论文标题

Diverse and Stable 2D Diffusion Guided Text to 3D Generation with Noise Recalibration 基于噪声重校准的多样化稳定二维扩散引导文本到三维生成

论文链接

Diverse and Stable 2D Diffusion Guided Text to 3D Generation with Noise Recalibration论文下载

论文作者

Xiaofeng Yang, Fayao Liu, Yi Xu, Hanjing Su, Qingyao Wu, Guosheng Lin

内容简介

本文提出了一种名为噪声重校准算法（NR-SDS）的新方法，旨在解决文本引导的三维生成中的两个主要问题：多样性问题和退化问题。现有的SDS损失在生成多样化内容时表现不佳，并且在训练过程中可能导致生成内容的过拟合和崩溃。NR-SDS算法通过引入单噪声训练和噪声重校准损失，显著提高了生成的3D内容的多样性和细节质量。实验结果表明，NR-SDS算法在生成高质量、多视角一致的3D对象方面表现优异，克服了传统方法的局限性。

分点关键点

1. 多样性问题

   • 传统的SDS损失在使用不同随机种子时，生成的内容变化有限，导致生成的3D对象缺乏多样性。NR-SDS算法通过单噪声训练方法，限制噪声采样过程为单个随机噪声，从而提高生成内容的多样性。

2. 退化问题

   • SDS损失在训练过程中可能导致学习到的NeRF模型逐渐崩溃，无法学习高质量的纹理细节。NR-SDS算法通过噪声重校准损失，优化可学习的移动噪声，使其在高引导权重下仍能生成高质量内容，从而解决了退化问题。

3. NR-SDS算法的结构

   • NR-SDS算法包含两个主要部分：单噪声训练和噪声重校准损失。单噪声训练通过限制噪声采样来提高多样性，而噪声重校准损失则通过优化移动噪声来解决退化问题。

4. 实验结果

   • 实验表明，NR-SDS算法在生成多样化和高质量的3D对象方面表现优异，能够有效克服传统SDS损失的局限性，生成的3D对象在细节和一致性上都有显著提升。

中文关键词

1. 文本引导三维生成
2. 噪声重校准
3. 多样性问题
4. 退化问题
5. 扩散模型
6. 神经辐射场 (NeRF)

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！