LION：基于分层潜在点扩散模型的3D形状生成艺术实践

1. 从零开始理解LION：为什么艺术家需要它？

如果你是一位数字艺术家，或者对3D建模和生成感兴趣，你可能已经厌倦了那些要么生成质量不稳定、要么操作起来极其繁琐的3D生成工具。传统的建模软件需要大量的手动操作，而早期的AI生成模型，比如基于GAN的，常常会输出一些“四不像”的模型，表面坑坑洼洼，根本无法直接使用。你需要的，是一个既能理解你的创意意图，又能输出高质量、可直接用于渲染或动画的3D模型的智能伙伴。这就是LION诞生的背景。

LION，全称是“Latent Point Diffusion Models for 3D Shape Generation”，翻译过来就是“用于3D形状生成的潜在点扩散模型”。这个名字听起来很技术，但它的目标非常纯粹：成为数字艺术家的得力助手。它不是一个停留在论文里的概念，而是一个为解决实际创作痛点而设计的系统。想象一下，你有一个粗糙的体素草图，或者一个扫描得来但充满噪声的3D模型，LION能帮你把它“脑补”成多个细节丰富、结构合理的完整模型。又或者，你想在两个完全不同的形状之间进行平滑的过渡动画，LION也能在它的“脑海”（潜在空间）里找到一条合理的路径。

那么，LION凭什么能做到这些？关键在于它巧妙地融合了三大技术支柱：变分自编码器（VAE）的规整性、扩散模型（DDM）的强大生成能力，以及点云（Point Cloud）表示的灵活性。VAE负责把杂乱无章的3D点云数据，压缩、整理到一个结构清晰、易于操作的“潜在空间”里；扩散模型则在这个整理好的空间里学习如何“无中生有”或“去伪存真”，生成高质量的新数据；而点云，作为最基础的3D数据表示形式，让整个过程保持了极高的灵活性和对几何细节的捕捉能力。LION的创新之处在于，它没有简单粗暴地把这三者拼在一起，而是设计了一个分层的潜在空间结构，让它们各司其职，协同工作，最终同时满足了高质量、灵活性和可用性这三大要求。

2. 技术核心拆解：分层潜在空间与扩散模型的共舞

要真正理解LION的魔力，我们需要钻进它的技术内核看看。这听起来复杂，但我们可以用一个“雕塑工作室”的类比来理解。

2.1 第一层：全局形状规划师（全局形状潜在变量）

当你开始创作一个雕塑时，脑海里首先会有一个整体的概念：是个人像，还是个动物？是站姿还是坐姿？大体轮廓是怎样的？LION的第一步也是如此。它通过一个编码器，分析输入的点云（比如一个粗糙的模型），提取出一个全局形状潜在变量（global shape latent），我们记为 z0。

你可以把 z0 想象成一份高度浓缩的“设计蓝图”。它不是一个具体的形状，而是一个包含了这个3D物体最核心、最全局信息的向量，比如物体的类别、大致比例、主体结构等。这个蓝图存在于一个连续的、平滑的向量空间里。这一步由VAE框架完成，它确保了这份“蓝图”的分布是规整的（接近高斯分布），为后续的生成提供了稳定的基础。

2.2 第二层：细节雕刻师（点结构潜在空间）

有了整体蓝图，接下来就需要雕刻细节了。脸上的皱纹、衣服的褶皱、树叶的脉络，这些局部信息是全局蓝图无法完全承载的。LION的第二个编码器，在已经拿到蓝图（z0）的前提下，再次分析原始点云，生成一个点结构的潜在空间（point-structured latent），我们记为 h0。

h0 本身也是一个“点云”，但它不是原始的点云，而是一个更加平滑、去除了噪声和无关细节的“潜在点云”。它保留了原始点云的空间结构（每个点都有三维坐标），同时每个点还可能附带一些额外的特征信息（比如这个点可能属于“边缘”还是“曲面”）。h0 就是那位专注于细节的雕刻师，它根据蓝图，规划出每一个局部细节应该如何安排。

2.3 双扩散模型：从噪声中唤醒创意

现在，我们有了两份经过整理的“创意素材”：全局蓝图 z0 和细节规划 h0。但如何从无到有地生成它们呢？这就是扩散模型（DDM）大显身手的时候了。LION训练了两个独立的扩散模型，分别用来生成 z0 和 h0。

扩散模型的工作方式很像一个“学习如何复原”的过程。它先学习如何把一张清晰的图片（或一个清晰的3D形状表示）一步步加噪声，变成完全随机的噪声。然后，它再反过来学习如何从纯粹的噪声中，一步步去除噪声，恢复出清晰的图片或形状。在LION中：

• 形状潜在扩散模型：学习如何从随机噪声中，生成一份合理的全局设计蓝图 z0。
• 潜在点扩散模型：在给定一份特定蓝图 z0 的条件下，学习如何生成与之匹配的细节规划 h0。

这个过程是分层的、条件依赖的。首先，第一个扩散模型“幻想”出一个全局蓝图；然后，第二个扩散模型根据这个蓝图，“幻想”出与之配套的细节。这种分工协作，使得生成的过程既可控又富有细节。

2.4 解码与重建：从潜在空间到可触摸的模型

最后一步，就是把“蓝图”和“细节规划”变回艺术家能用的实际模型。LION的解码器接收 z0 和 h0，将它们重新映射回原始的三维点云空间，生成最终的点云模型。这个点云模型已经具备了高质量的形状和丰富的细节。

但点云对于很多艺术工作流来说还不够友好，大家更习惯使用网格模型。为此，LION可以无缝衔接现代表面重建技术，比如论文中提到的“Shape As Points (SAP)”方法。这个方法就像一个高水平的数字泥塑家，能够根据生成的点云，自动构建出光滑、连续、水密的三角网格表面。这样一来，LION的输出就能直接导入Blender、Maya等主流3D软件中进行进一步的编辑、材质贴图和渲染了。

3. 实战演练：LION在艺术创作中的多种玩法

了解了原理，我们来看看LION具体能帮我们做什么。它的灵活性正是其作为创作工具的核心价值。

3.1 多模态生成：给一个想法，收获无数可能

这是我最喜欢的功能之一。假设你手头有一个初步的模型，但你不确定最终细节该怎么做，或者想看看其他可能性。传统流程可能需要你手动调整很久。而用LION，你可以进行“扩散-去噪”操作。

具体操作是这样的：将你的初始模型输入LION，编码得到 z0 和 h0。然后，你不是从纯噪声开始去噪，而是故意对 z0 和 h0 加一点噪声（比如只加噪50步，而不是加噪到完全随机）。接着，从这个“半成品”状态开始，运行反向去噪过程。由于扩散过程的随机性，每次去噪都会走向一个略有不同的结果。这就像是你给AI一个模糊的方向，它帮你生成好几个在整体结构上相似，但在局部细节上各有特色的高质量变体。这对于概念设计、寻找灵感特别有用。

3.2 体素引导合成与形状去噪：从草图到成品

很多艺术家习惯先用简单的体素（像乐高积木一样的方法）快速搭建一个模型的大致轮廓。LION可以完美对接这个工作流。你只需要对LION的编码器进行简单的微调，让它学会将粗糙的体素模型编码成有意义的 z0 和 h0。

微调完成后，当你输入一个粗糙的体素方块人时，编码器会理解“这是一个大致的人形”，并生成对应的潜在编码。然后，LION的扩散模型会基于这个编码，生成一个具有合理肌肉、衣物褶皱等细节的完整人体模型。更重要的是，结合上面的“多模态生成”，你甚至可以从同一个体素草图中，得到多个不同风格（比如穿着不同服装）的精细模型。

同理，这个功能也适用于形状去噪。如果你有一个通过3D扫描得到但表面充满噪声和孔洞的模型，同样可以通过微调编码器，让LION学会“理解”噪声下的真实形状，并生成多个干净、完整的修复版本。

3.3 潜在空间形状插值：创造平滑的形态变形动画

在3D动画中，制作一个物体平滑变形到另一个物体的动画（Morphing）非常耗时。LION的潜在空间提供了一个完美的解决方案。因为VAE和DDM共同塑造的潜在空间是连续且语义清晰的，你可以对两个不同形状的潜在编码（z0 和 h0）进行插值。

技术上讲，我们会使用概率流常微分方程（ODE）将两个形状的编码“推”到扩散模型的高斯先验空间中，在那里进行安全的球面线性插值，然后再通过解码器生成中间帧。结果就是一系列在两个形状之间自然、平滑过渡的3D模型。这不再是简单的顶点混合，而是在语义层面上的形状融合，比如一把椅子可以合理地、逐步地变形为一个沙发。

3.4 高质量网格输出：告别“土豆模型”

早期很多3D生成AI的输出被称为“土豆模型”，因为表面疙疙瘩瘩，无法直接使用。LION通过与SAP等表面重建方法结合，彻底解决了这个问题。生成的点云会作为SAP的输入，SAP利用可微泊松重建等技术，生成光滑的、可用的三角网格。

为了让SAP更好地处理LION生成的点云（其噪声分布可能与真实扫描数据不同），论文中还提到可以在LION自动编码器生成的数据上对SAP进行微调。这一步确保了从“AI生成的点云”到“艺术家可用的网格”的管道是通畅且高质量的。

4. 优势总结：为什么LION是更优的选择？

对比之前直接在原始点云上训练扩散模型的方法，LION的分层潜在空间架构带来了实实在在的优势，这些优势最终都转化为了艺术家的创作效率和质量。

第一，生成质量更高、更稳定。 直接在复杂、高维、非结构化的原始点云上学习扩散模型非常困难，模型容易学到数据中的噪声和不一致性。LION先通过VAE把数据“预处理”到一个更规整、更平滑的潜在空间里，大大降低了扩散模型的学习难度。这就好比教学生画画，不是直接让他对着杂乱的自然景物写生，而是先让他学习如何用简单的几何体概括形体。潜在空间就是那些“几何体”，扩散模型在这个基础上学习，效果自然更好、更稳定。这在多个ShapeNet基准测试中都达到了当时的最高水平。

第二，操作灵活性强，扩展成本低。 由于VAE编码器-解码器结构的存在，LION可以轻松适应新任务，而无需从头训练昂贵的扩散模型。比如前面提到的体素条件合成和去噪，我们只需要微调编码器，让它们学会理解新的输入形式（体素/带噪声模型），而生成核心——两个潜在扩散模型——是冻结不变的。这就像你有一个强大的翻译官（扩散模型），以前他只懂英语到中文。现在来了一个说法语的人（体素输入），你只需要培训一个简单的法语-英语翻译（微调编码器），就能让原来的翻译官继续工作。这极大地降低了应用门槛和计算成本。

第三，输出格式友好，流程无缝衔接。 LION没有强迫用户在“点云的生成优势”和“网格的实用需求”之间二选一。它内部采用对扩散模型最友好的点云表示进行生成，最终通过成熟的表面重建技术输出艺术家最需要的网格。这种“内外兼修”的设计，让它真正具备了投入生产流程的潜力。

第四，表征解耦清晰。 分层结构天然地将整体形状信息（z0）和局部细节信息（h0）分离开来。这不仅让生成过程更可控（例如，你可以固定全局形状，只改变局部细节），也让我们更容易理解和操纵模型的生成结果，为更精细的用户控制提供了可能。

从我个人的实践经验来看，一个技术从论文走向实际应用，最大的障碍往往不是峰值性能，而是稳定性、灵活性和易用性。LION在这三方面都做出了深思熟虑的设计。它或许不是第一个做3D点云扩散模型的，但它很可能是第一个真正全面考虑了数字艺术家工作流中各种实际需求的模型。当然，它目前可能对计算资源仍有要求，推理速度也可能不是实时，但这些是几乎所有前沿生成模型共同面临的工程挑战。LION已经为我们指明了一条将强大生成能力与实用艺术工具相结合的道路。