小熊哥哥的博客

与现有的需要形状的完整表示来进行修改的方法不同，该方法只需要编辑区域的几个视图。为了实现这一目标，论文使用了一个以图像为条件的大型重建模型 (LRM)，该模型经过专门设计，可以根据部分视图对被遮挡区域进行合理的推断。通过在训练 LRM 过程中对输入图像进行随机掩码，迫使模型学习如何根据可见的部分信息推断被遮挡区域的形状，从而实现从单个或少量视图重建完整 3D 模型的能力。与传统方法需要完整的 3D 形状表示不同，该方法仅需编辑区域的几个视图即可完成编辑，大大简化了操作流程并降低了使用门槛。

文档介绍了Edify 3D，一种为高质量的3D资产生成而设计的高级解决方案。方法可以生成高质量的三维资产里，干净的形状拓扑，高分辨率的纹理，和材料在2分钟内运行。没有直接去合成三维，而是更CRM类的方法一样用**一个扩散模型生成三平面再转3d。**文章应该也考虑这个问题了，在三平面生成的基础上又加了一个基于超分的细节补充通道。用合成的多视图RGB和表面法线图像，一个重建模型预测了三维形状的几何形状、纹理和材料。Edify 3D还可以从对象的参考图像中创建一个3D资产，自动识别图像中的前景对象。

它通过将离散的、非结构化的 3D Gaussian splatting 表示为连续的函数，并利用扩散模型和变分自编码器来学习和生成这些函数，从而解决了现有方法在生成高质量 3D Gaussian splatting 模型时遇到的挑战。这个工作的思路实际可以拿pixel空间的扩散模型跟隐空间的SD做类比，通过一个特定的编码器不光能将3dgs数据压缩到特定的隐空间变成连续性特征，然后还能简化计算量。的3Dgs直接生成是不那么方便的，有些工作是生成三平面再合成3dGS，中间都转了一步，这就有一个范化性问题。

虽然现有的三维内容生成方法取得了显著进展，但它们在生成高质量、易编辑且可控的三维模型方面仍然面临着挑战。的三维生成，以及对生成结果的交互式编辑。(3D VAE): 使用级联式的 3D VAE 结构来学习三维数据的潜在表示，这使得模型能够更好地捕捉三维形状的复杂特征。: 采用高斯混合模型来表示三维点云，这种表示方法比传统的点云表示方法更紧凑、更有效，并且易于进行渲染和编辑。利用三维扩散模型来生成高质量的三维点云，扩散模型的强大生成能力能够生成更精细、更逼真的三维模型。，并通过扩散模型生成高质量的三维点云。

HyperDiffusion 旨在解决现有隐式神经辐射场表示方法（例如，使用多层感知机MLP表示）需要对模型参数进行逐个优化，导致生成速度慢且效率低下的问题。跟这个论文差别大吗？不大，整体的优化策略不一样，hyperdiffusion实际上只有3d级别的监督，diffrf是2d+3d。无需迭代优化: HyperDiffusion 直接从噪声中生成神经网络的权重参数，无需任何耗时的迭代优化过程。通过这种方式，HyperDiffusion能够直接从噪声中生成高质量的三维模型，无需任何耗时的优化步骤。

具体来说，DiffRF首先通过一个预训练的扩散模型生成辐射场的初始表示，然后利用渲染图像作为监督信息，通过迭代的扩散过程对辐射场进行细化，最终生成高质量的三维辐射场。它将渲染图像作为扩散过程的指导信息，利用渲染图像与目标图像之间的差异来驱动扩散过程，从而有效地控制生成过程，减少噪声，并提高生成质量。它利用渲染图像作为扩散过程的指导，通过迭代细化辐射场表示来生成高质量的三维模型。DiffRF 利用预训练的扩散模型生成辐射场的初始表示，为后续的扩散过程提供了一个良好的起点，提高了生成效率和稳定性。

NeRF 引导的三维扩散细化: 然后，利用一个新颖的 NeRF 引导的三维扩散框架，对初始 NeRF 进行细化。这个框架通过将 CDM 的输出与 NeRF 的渲染结果进行比较，迭代地更新 NeRF 参数，从而生成更精确、更细节丰富的三维场景。NerfDiff 引入了一种新颖的几何约束NeRF(Geo-constrained NeRF)，该方法利用三维扩散模型的输出引导NeRF参数的更新，从而有效地解决三维扩散模型中几何形状不一致的问题。NerfDiff 巧妙地结合了。本文提出了一种新颖的单。

3D 生成重建031-One-2-3-45多视图+Neus生成3D。

3D 生成重建030-SV3D合成环绕视频以生成3D。

3D 生成重建029-Turbo3D一个让3D生成大模型更快的思路。

3D 生成重建028-Hunyuan3D腾讯出品的单视图3d生成。

3D 生成重建027-Unique3D用超分为3D提供更多细节！

3D 生成重建026-Wonder3D单视图3d生成。

3D 生成重建025-CRM开源的3D生成大模型型。

3D 生成重建024-LGM第一个开源的3D生成大模型。

3D 生成重建023-DMV3D用扩散模型做3D生成大模型。

3D 生成重建022-GRM基于大模型和多视图扩散模的D生成模型。

3D 生成重建021-LRM基于大模型的生成式3D生成模型。

在 SA3D (Segment Anything in 3D) 方法中，自我提示（Self-Prompting） 是一种关键的技术，用来通过多视角的迭代过程生成三维掩膜。具体来说，自我提示的实现过程可以分为以下几个步骤：初始二维掩膜生成：1、给定一个视角中的目标物体，用户提供一个手动的粗略分割提示（例如一些粗略的点或框）。使用 SAM（Segment Anything Model）对这个视角中的物体进行分割，生成一个二维掩膜（mask）。2、掩膜反向渲染。

下图是论文的结构图，xqscαfxqscαf,q, s表示的是四元组表示的旋转平移，f是语义特征。语义的渲染方式跟图像的渲染方式一样。只不过如果直接渲染高位的SAM或者CLIP特征的话，维度会很高，这就会造成基础管线并不支持 这样的操作。为了简化问题，语义特征先优化一个低维的语义特征，然后进行升维。升维的信息用2d的基础模型进行监督。通过训练优化后语义信息就潜入到f中。也许我们可以找到新的方式来优化这个特征的潜入方式。i think.

3D 生成重建015-nerf2mesh从神经辐射场中提取mesh和纹理！

3D 生成重建012-Magic123早期使用不同SDS相减的探索。

3D 生成重建014-Bidiff使用二维和三维先验的双向扩散。

3D 生成重建011-LucidDreamer 优化SDS过平滑结果的一种探索。

3D 生成重建013-ProlificDreamer将SDS拓展到VSD算法进行高质量的3D生成。

SyncDreamer从单视图生成一致性的多视图。

DreamGaussian使用gaussian splatting在两分钟内生成3d。

3D生成重建005-NeRF席卷3D的表达形式。

在中dreamfusion提到将2D观测结果“提升”到3D世界的任务本质上是模糊的，并可能受益于更健壮的3D先验。这篇论文就是基于这个点出发，对文生3d进行拓展。这篇论文基于dreamfusion的思路，引入PointE的图生3d模型，生成一个初步的粗糙的点云，然后将稀疏的深度引导加入到扩散模型中，因为加入了更多的约束条件，所以进一步控制nerf往一个固定的方向去优化，这一定程度上能帮助缓解CFG过大问题，让模型可能不需要那么大的CFG系数。这个点是论文的核心点。

3D 文生3d，3d重建004-DreamFusion and SJC ：TEXT-TO-3D USING 2D DIFFUSION。

从这开始了解纹理重建工作

DO 2D GANS KNOW 3D SHAPE?如何从2d GAN中挖掘3d信息进行3d内容的生成

万物皆可CLIP，三维内容也要坠入CLIP的河流中了。text2mesh=CLIP+DIB-R+NSF使用文本和mesh实现词条引导的mesh风格化调整。

3D mesh重建001-Self-Supervised 3D Mesh Reconstruction from Single Images 目录 0 摘要与论文地址   作者提出一种数据友好的mesh重建方法，算法本身对数据要求较低，只需要原始图像与图像轮廓，并不需要额外的数据标注，在这一点上这个算法是很有利于迁移到其他场景下的。作者在摘要中强调如果没有3D监督的情况下，想要达到理想状态的重建效果是是很难的。作者提出了一种 supervised Mesh Reconstruction (SMR.

三维重建工具001-正确安装kaolin库并在SMR上运行文章目录 1 为什么kaolin呢 2 kaolin踩的坑 3 具体安装 步骤 4 结束 如果时间及任务重，直接点目录3，因为其他全不能解决问题。 1 为什么kaolin呢    kaolin由NViDIA开发的一套用于加速 3D 深度学习研究的工具。在阅读CVPR论文 SMRSelf-Supervised 3D Mesh Reconstruction From Single Images，被作者的一些新颖的思路所处