小熊哥哥的博客

基于Transformer的点云模型和对比学习: 使用基于Transformer的架构处理点云数据，能够有效地捕捉点与点之间的长程依赖关系。同时，采用对比学习方法，有效地解决了部件层次结构和歧义问题，提高了模型的鲁棒性和准确性。实际上这个当法的策略跟我们前面提到的将SAM知识蒸馏到3D空间的工作相近，主要体现在目标上的不同。自动数据标注: FIND3D的数据引擎实现了对三维数据的自动标注，避免了耗时的人工标注过程，极大地降低了数据获取成本，并使得训练大规模模型成为可能。

3D 生成重建020-Gaussian Grouping在场景中分割并编辑一切。

3D 生成重建019-LERF用文本在Nerf中开启上帝之眼。

3D 生成重建018-LangSplat用文本在3DGS内搜寻你的真爱。

3D 生成重建017-StyleGaussian用文本或图像对你的3DGS内容进行风格迁移。

在 SA3D (Segment Anything in 3D) 方法中，自我提示（Self-Prompting） 是一种关键的技术，用来通过多视角的迭代过程生成三维掩膜。具体来说，自我提示的实现过程可以分为以下几个步骤：初始二维掩膜生成：1、给定一个视角中的目标物体，用户提供一个手动的粗略分割提示（例如一些粗略的点或框）。使用 SAM（Segment Anything Model）对这个视角中的物体进行分割，生成一个二维掩膜（mask）。2、掩膜反向渲染。

下图是论文的结构图，xqscαfxqscαf,q, s表示的是四元组表示的旋转平移，f是语义特征。语义的渲染方式跟图像的渲染方式一样。只不过如果直接渲染高位的SAM或者CLIP特征的话，维度会很高，这就会造成基础管线并不支持 这样的操作。为了简化问题，语义特征先优化一个低维的语义特征，然后进行升维。升维的信息用2d的基础模型进行监督。通过训练优化后语义信息就潜入到f中。也许我们可以找到新的方式来优化这个特征的潜入方式。i think.