单图0.5秒生成3D模型！Stability AI&华人团队VAST出品

关注

原创最新推荐文章于 2026-05-18 09:33:42 发布 1.8k 阅读 AI 写同款· GEO 优化 ›

一个将图片转3D的开源项目TripoSR TripoSR AI是StabilityAI联合发布的图生3D模型，TripoSR是一个快速的3D物体重建模型。TripoSR能够在不到一秒钟的时间内从单张图片生成高质量的3D模型。TripoSR模型的特点是能够快速处理输入，在 NVIDIA A100 GPU 上不到 0.5 秒的时间内生成高质量的 3D 模型。TripoSR在定性和定量评估中都表现出卓越的性能，在多个公共数据集中优于其他开源替代方案。下图说明了TripoSR相对于其他领先型号的性能的视觉比较和指标。阅读详情

无需GPU即可部署，0.5秒就能通过单张图片生成3D模型。

大语言模型风暴再起的一晚，3D生成领域也有新开源模型引发关注。

二月底，Stability AI悄然换将，新任CTO Christian是图形学和机器视觉大佬。上任不到五天，立刻官宣为开源社区带来重磅炸弹：和华人团队VAST联合推出3D生成模型TripoSR。

只需短短的0.5秒，TripoSR就能把单张图片转化为一个几何结构完整、材质纹理清晰的3D模型，无需任何prompt和专业知识，甚至不需要依赖GPU。

△图源Stability AI官网

可以看出，不管是人物角色、家装建筑、食物摆件，TripoSR都能理解和还原。

△图源TripoSR技术报告

TripoSR的灵感来源于2023年11月Adobe提出的LRM。

和Sora作为视频生成模型使用的Transformer架构相似，TripoSR和LRM都基于Transformer架构。

这种方式将图像生成3D模型的任务巧妙地理解为一场跨维度的语言翻译。想象一下，每一张输入的图像都是一种独特的语言，而模型的任务，就是将这种图像语言翻译成另一种三维的表达——3D模型语言。

在这场翻译中，图像语言的“词汇”由输入图像精心切割成的一块块小方块，类比于视频语言的“词汇”是patch，而3D模型语言的“词汇”则是由“三平面（triplane）”构成的三维空间中的小方块。这个方法的核心就在于它能够将这些图像语言的“词汇”一一对应地转化为3D模型语言的“词汇”，从而将二维的图像转化为三维的模型。

在transformer架构的强力推动下，LRM在超过百万级别的公开三维数据集上接受了训练，这标志着它与以往那些仅限于特定类别的研究工作划清了界限。这种对任意用户输入的广泛适应性和超高的运行效率赢得了赞誉在学术界和工业界掀起了一阵热潮。

尽管如此，LRM的代码和模型并未对外开放，加之其训练成本之高——需要128块A100 GPU连续运行一周——这使得许多资源有限的研究团队望而却步，从而在一定程度上限制了这项技术向更广泛领域的推广。

或许还有人有印象Stability AI此前开源的3D项目Stable Zero123。

这个项目基于另一个受到广泛关注的开源项目threestudio，尽管这个集成尝试取得了不少进展，但由于其依赖的技术（比如score distillation sampling）需要较长的优化和计算时间，使得生成一个3D模型既缓慢又资源消耗巨大，这个问题仍未能被充分解决。

直至TripoSR的出现，学术界和开源界一直缺少一个开放、快速、且具备强大泛化能力的3D生成基础模型和框架。

该模型基于LRM的原始算法，通过精细筛选和渲染的Objaverse数据集子集以及一系列的模型和训练改进，显著提高了从有限训练数据中泛化的能力，同时也增强了3D重建的保真度。

△与其他算法对比

因此，可以说Tripo AI和Stability AI联合推出的首个LRM高质量开源实现——TripoSR极大地填补了3D生成式人工智能领域的一个关键空白。

△性能表现：F-Score（越高越好）与推理时间（越低越好）的关系

作为Stable Diffusion背后公司，Stability AI无需多做介绍，那么此番与Stability AI携手的Tripo AI又是何许人也？

根据公开信息，Tripo AI背后是一个叫作VAST AI Research的新锐3D研究机构。

自2023年底相继开源了Wonder3D、CSD、TGS等工作的代码和权重，获得了开源社区的广泛好评。

Tripo是VAST在2023年12月推出的通用3D生成模型。能实现8秒内通过文字或图片生成3D网格模型，并通过5分钟进行精细化生成，生成模型质量在几何和材质层面都接近手工水平。

根据其披露的运营动态，目前已上线模型生成之外，风格化、自动骨骼绑定等更多3D生成相关功能。

你觉得2024年会是3D生成领域爆发的一年吗？

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述