-
阶段 A(重建器 / 形状自编码器):把 3D 网格/点云/体素转换为隐空间向量 z,并训练一个从 z 解码到隐函数(occupancy network)的解码器。
-
阶段 B(跨模态条件先验):训练一个**条件扩散模型(DDPM)**或条件高斯先验,在给定草图(图像)和文本 embedding 的条件下,生成 z。推理时:给定草图+文本 → 通过条件扩散采样得到 z → 用解码器重建 3D(并用 marching cubes 提取网格)。
下面先讲数学与架构,再给出分模块代码(models.py、dataset.py、train_*、sample.py、utils.py)。代码尽量完整、带注释与优化建议(AMP、EMA、分布式提示等)。
1. 问题形式化与设计选择
目标:给定草图图像 $I_s$ 和文本说明 $T$,生成目标物体的 3D 表示(网格/隐函数/点云等)。我们做以下选择:

订阅专栏 解锁全文
99



被折叠的 条评论
为什么被折叠?



