3D 生成重建040-借助LRM对mesh进行编辑-优快云博客

本文链接：https://blog.youkuaiyun.com/weixin_41871126/article/details/144505762

3D 生成重建040-借助LRM对mesh进行编辑

文章目录

0 论文工作

论文提出了一种新颖的、交互式的 3D 网格编辑方法，通过掩码图像进行操作。与现有的需要形状的完整表示来进行修改的方法不同，该方法只需要编辑区域的几个视图。为了实现这一目标，论文使用了一个以图像为条件的大型重建模型 (LRM)，该模型经过专门设计，可以根据部分视图对被遮挡区域进行合理的推断。通过在训练过程中在输入图像中引入掩码，使模型能够从单个视图推断整个形状。该策略法利用了 LRM 的最新进展，并引入了一种掩码训练策略，通过交互式编辑几个视图即可修改 3D 网格。
paper

1 论文方法

在这里插入图片描述

这篇论文的核心思想是利用掩码图像和条件大型重建模型 (LRM) 实现交互式 3D 网格编辑。
基于部分视图的 3D 编辑: 与传统方法需要完整的 3D 形状表示不同，该方法仅需编辑区域的几个视图即可完成编辑，大大简化了操作流程并降低了使用门槛。
掩码训练策略 (Masked Training Strategy): 这是论文的核心创新点。通过在训练 LRM 过程中对输入图像进行随机掩码，迫使模型学习如何根据可见的部分信息推断被遮挡区域的形状，从而实现从单个或少量视图重建完整 3D 模型的能力。
基于条件 LRM 的框架: 该方法利用了预训练的条件 LRM，并将其扩展到掩码输入的情况。LRM 本身能够从多视图图像重建高质量的 3D 模型，而掩码训练策略进一步增强了其从部分信息推断完整形状的能力。
交互式编辑: 用户可以通过简单的图像编辑操作 (例如涂抹、擦除等) 来修改 3D 模型，无需专业的 3D 建模知识。