AIGCer的博客

随着3D内容创作的快速增长，自动将静态3D模型转换为支持真实动画的可关节化版本的需求日益增加。然而，传统方法严重依赖人工标注，既耗时又费力。此外，缺乏大规模的基准数据集也阻碍了基于学习的解决方案的发展。

高质量多视角数据获取成本高：传统方法需要高质量的多视角工作室数据来创建逼真的人体表示，但这些数据获取成本高，限制了可扩展性。野外数据缺乏3D或多视角表示：大规模、非结构化的野外人体图像和视频虽然丰富，但缺乏真实的3D或多视角表示。多视角生成模型的3D一致性问题：现有方法在生成多视角图像时，难以保证3D一致性，且现有评估指标无法准确衡量3D一致性。

解决的问题实现从文本到3D场景的高效生成，适用于对象级别和场景级别。提升生成3D内容的保真度和几何质量，同时确保模型具备良好的泛化能力。改善现有方法在3D生成中的效率问题，实现快速且高质量的3D生成。提出的方案多视图、前馈、像素对齐的3D高斯生成：将3D场景生成表述为在隐空间变量扩散框架中的这一过程。两阶段训练框架第一阶段：训练3D高斯变分自编码器（GS-VAE），以多视角或单视角的RGB-D图像为输入，预测每个像素对齐的3D高斯。第二阶段。

解决的问题细节缺失：传统的基于参数化网格的模型难以生成高细节和高真实感的面部几何和纹理。身份保持差：仅用合成数据训练的模型在生成结果中会导致显著的身份感知损失。视角一致性不足：现有方法难以保证不同视角生成的图像在几何和纹理上的一致性。提出的方案第一阶段：多视角生成基于扩散模型的多视角生成方法。通过图像条件扩散模型生成头部的侧面和背面视图。利用多视角一致的合成数据进行模型微调，增强视角一致性和泛化能力。第二阶段：3D重建使用最先进的GS-LRM模型，将生成的稀疏多视角图像融合为完整的3D高斯表示。

论文链接：https://arxiv.org/abs/2407.16260亮点直击据作者所知，作者是第一个解决文本到3D NeRFs分解问题的团队。为了解决这个问题，本文引入了一个名为DreamDissector的新颖框架，包括一种新颖的神经类别场（NeCF）表示，可以将输入的NeRF分解成独立的子NeRF，一个深度概念挖掘（DCM）技术，通过个性化扩散模型促进子NeRF和概念之间的对齐，以及一个类别分数蒸馏采样（CSDS）损失，利用DCM增强NeCF的学习。

解决的问题当前的3D生成与扫描技术能够生成具有高质量形状和纹理的3D资产，但这些资产通常是单一的、不具备结构的整体表示（如隐式神经场、高斯混合体或网格）。然而，专业应用与创意工作流中需要结构化的3D资产，这些资产由具有独立意义的部分组成，便于重用、编辑与动画制作。提出的方案本文提出了PartGen，能够将无结构的3D对象转化为具有语义意义的组成部分。部分分割：通过多视图扩散模型生成多个视角的一致分割图，将3D对象分割为多个部分。部分补全与重建。

现有的场景图表示方法在生成复杂场景时存在保真度不足的问题，缺乏精确的控制和编辑能力。场景语言对于场景 ，记作 ，其形式定义如下：这里， 是自然语言短语的集合，被称为词语，例如，，如下图 2 所示。是一个程序，由一组实体函数 组成，并由 索引。每个实体函数 定义了场景中的一个实体类；它由相关联的 唯一标识，简洁地总结了定义类的语义含义。每个 将神经 embeddings 映射到场景中的特定实体 ，其中 指定了 的属性和身份，例如棋子的特定颜色，而 指定了其子实体的身份。

现有的2D视觉生成已取得显著进展，但3D和4D生成在实际应用中仍然面临挑战，主要由于缺乏大规模4D数据和有效的模型设计。

文章链接：https://arxiv.org/pdf/2409.13648 Github链接：https://authoritywang.github.io/v3/亮点直击提出，一种通过流式传输高质量Gaussian Splatting来支持在普通设备上渲染全息影像的新方法。展示了一种紧凑的动态高斯表示，将高斯属性嵌入到2D高斯视频中，以便于硬件视频编解码器的使用。提出了一种高效的训练策略，通过运动-外观解耦、残差熵损失和时间损失来保持时间连续性。提出了多平台全息影像播放器，支持实时播放和流媒

预备知识。给定一个带有纹理的3D网格，将其3D形状表示为S∈R3S∈R3，其中x∈Sx \in Sx∈S是形状占据空间内的点，而 $x \in \partial S $ 是形状边界上的点，即形状的表面。我们将3D形状建模为SDF如下：此外，给定形状表面的邻域U∂Sδx∣dx∂SδU∂Sδx∣dx∂Sδ，目标网格的空间变化颜色函数和材质函数定义如下：其中CxR3→R3CxR3→R3和ρxR3→。

解决的问题解决单张图像生成3D对象时多视图不一致的问题。平衡3D生成中的一致性与多样性。提出的方案Vista3D框架采用两阶段方法：粗略阶段通过高斯投影生成初始几何，精细阶段优化符号距离函数（SDF）。使用角度组合方法进行扩散先验，通过约束梯度幅度实现多样性。应用的技术高斯投影和可微等值面方法。解耦纹理技术。使用两个独立隐函数捕捉物体的可见和隐藏方面。达到的效果在短短5分钟内实现快速且一致的3D生成。提升生成质量，维持3D物体一致性和多样性之间的平衡。

Hi3D框架旨在解决从高分辨率图像生成3D模型时面临的挑战，特别是如何在多个视角之间保持几何一致性和高质量的纹理细节。传统方法往往在生成多视角图像时缺乏时间一致性，导致生成的3D内容在视觉上不连贯。

Sora等在大规模真实场景视频数据集上训练得到视频扩散模型能够学到对3D物理世界的深入理解，从而使其从单张图像或文本提示中生成复合物理规律和现实世界规则的视频内容。然而，由于它们缺乏场景的底层3D信息，因此难以在视频生成过程中实现精确的相机视角控制。

给定 个稀疏视角（即，少至两个）图像 ，其中 ，目标是重建基础的3D场景，并合成未见视角的新视图。在框架 ReconX 中，首先从 中构建一个全局点云 ，并将 投影到3D上下文表示空间 中，作为结构指导。然后，将 注入视频扩散过程中，以生成3D一致的视频帧 ，其中 ，从而创建更多的观测。为缓解生成视频间不一致性导致的负面伪影，我们利用来自 DUSt3R 模型的置信度图 和 LPIPS 损失来实现鲁棒的3D重建。通过这种方式，我们能够释放视频扩散模型的全部潜力，从非常稀疏的视角中重建复杂的3D场景。

MagicMan，一种通过利用图像扩散模型作为 2D 生成先验和 SMPL-X 模型作为 3D 身体先验的方法，从单张参考图像生成人体的新视角。基于此，作者提出的高效混合多视角注意力机制确保了生成更密集的多视角图像，同时保持高的 3D 一致性，这一效果通过几何感知双分支进一步得到增强。此外，作者的新型迭代优化过程通过逐次迭代优化初始估计的 SMPL-X 姿势，以提高生成新视角的一致性，并缓解由不准确 SMPL-X 估计引起的几何畸形问题。

本解读已获得论文作者的原创解读授权文章链接：https://arxiv.org/pdf/2408.16768在线demo: https://huggingface.co/spaces/ZiyuG/SAM2Pointcode链接：https://github.com/ZiyuGuo99/SAM2Point：SAM2POINT 通过将 3D 数据体素化为视频格式，避免了复杂的 2D-3D 投影，实现了高效的零样本 3D 分割，同时保留了丰富的空间信息。