【1211更新】腾讯混元Hunyuan3D-1文/图生3D模型云端镜像一键运行

云樱梦海

已于 2024-12-13 13:45:11 修改

阅读量1.7k

点赞数 24

CC 4.0 BY-SA版权

文章标签： 3d Hunyuan3D 腾讯混元

于 2024-12-12 18:29:28 首次发布

本文链接：https://blog.youkuaiyun.com/GHY2016/article/details/144433239

【1212更新】腾讯混元Hunyuan3D-1文图生3D模型云端镜像一键运行

项目介绍

https://github.com/Tencent/Hunyuan3D-1

腾讯混元 3D 生成模型,支持文本和图像条件生成(对于文生3D，支持中/英双语生成)

为了解决现有的3D生成模型在生成速度和泛化能力上存在不足，我们开源了混元3D-1.0模型，可以帮助3D创作者和艺术家自动化生产3D资产。

我们的模型采用两阶段生成方法，在保证质量和可控的基础上，轻量版模型仅需10s即可完成单图生成3D，标准版则大约需要25s。

在第一阶段，我们采用了一种多视角扩散模型，轻量版模型能够在大约4秒内高效生成多视角图像，这些多视角图像从不同的视角捕捉了3D资产的丰富的纹理和几何先验，将任务从单视角重建松弛到多视角重建。

在第二阶段，我们引入了一种前馈重建模型，利用上一阶段生成的多视角图像。该模型能够在大约3秒内快速而准确地重建3D资产。重建模型学习处理多视角扩散引入的噪声和不一致性，并利用条件图像中的可用信息高效恢复3D结构。

最终，该模型可以实现输入任意单视角实现三维生成。

显存占用

标准版模型 需要30GB VRAM (使用 --save_memory需要 24G VRAM ).
轻量版模型 需要 22GB VRAM (使用 --save_memory需要18G VRAM).
--save_memory 参数用于减少内存消耗，通过调整算法或数据结构来优化内存使用

--save_memory 参数在某些深度学习框架或库中，如PyTorch，用于在模型训练过程中减少GPU显存的占用。具体来说，这个参数会使得某些模型组件（如网络层）在不需要进行计算时自动移动到CPU内存中，从而节省GPU显存空间。当这些组件再次需要参与计算时，它们会被移回GPU。

这种做法被称为CPU Offloading，它是一种显存节省技术，可以在保持模型性能的同时减少显存的使用，特别适用于显存资源受限的情况。通过将模型的一部分或全部中间变量临时转移到CPU，可以有效地减少GPU显存的占用，同时在需要时再将它们移回GPU以继续计算。这种动态的内存管理策略有助于提高大规模模型训练的效率和可行性。

11月21 新增纹理烘焙模块Dust3R

请注意，这是一个非商业许可证，因此该模块不能用于商业目的。

纹理烘焙是一种在3D建模和渲染中常用的技术，它涉及将模型的材质、光照等信息预先计算并存储为2D纹理，以此来减少实时渲染的计算量，提高渲染效率。这种方法特别适用于将高多边形模型的细节信息转移到低多边形模型上，以保持视觉效果的同时减少性能消耗。

使用Dust3R进行纹理对齐和变形的过程中，Dust3R是一个开源项目，它旨在简化几何3D视觉重建。Dust3R通过一系列操作，包括图像加载、成对处理、预测和全局对齐，来实现3D场景的重建。在纹理烘焙的上下文中，Dust3R可能被用于处理和优化纹理映射，确保在3D模型之间传输纹理数据时，纹理的对齐和变形能够得到有效管理，减少渲染过程中的变形和拉伸问题。

具体来说，Dust3R可以处理图像对，并输出包含3D点信息的预测结果，这些结果可以用于后续的纹理烘焙过程。通过全局对齐器（global_aligner），Dust3R还能够优化预测结果，使得从一个物体投影到另一个几何体上的纹理信息保持准确性。这样，纹理烘焙模块可以利用Dust3R提供的精确3D信息，来实现更好的纹理对齐和变形效果。

烘焙相关参数：

参数	默认值	描述
--do_bake	FALSE	这个参数是一个布尔值，用于指示是否执行烘焙操作。当设置为True时，程序将执行将多视图图像烘焙到网格（mesh）上的操作。烘焙过程中，图像的细节和特征会被捕捉并存储在纹理中，这样可以在渲染时减少计算量，提高效率。如果设置为False，则不会执行烘焙操作。
--bake_align_times	3	这个参数指定了图像与网格之间对齐的次数。在烘焙过程中，为了确保图像与网格的准确对应，可能需要多次执行对齐操作。这个参数控制了对齐操作的重复次数，以确保图像和网格之间的映射尽可能精确。数值越大，意味着更高的对齐精度，但同时也可能增加计算成本。

注意：如果需要烘焙，请确保--do_bake设置为True并且--do_texture_mapping也设置为True

AutoDL云端镜像

https://www.codewithgpu.com/i/Tencent/Hunyuan3D-1/Hunyuan3D-1.0

镜像大小:25.25GB 第一次拉取镜像较慢，请耐心等候,22分钟左右,

启动成功应该会收到短信通知!

启动说明

AutoDL创建实例启动后,点击运行即可
默认端口1080

本地使用「AutoDL-SSH-Tools」转发端口1080

链接：https://pan.quark.cn/s/ee8bef31034c

标准模型下载

注：由于AutoDL系统盘只有30G，只下载了lite模型(4090单显卡可运行)

如需使用标准模型（4090需双卡）可将项目移动到数据盘autodl-tmp下手动下载

mv /root/Hunyuan3D-1 /root/autodl-tmp/Hunyuan3D-1

cd /root/autodl-tmp/Hunyuan3D-1

huggingface-cli download tencent/Hunyuan3D-1 --local-dir weights