pontoon‘s zone

摘要： 清华与哈佛团队提出的LangSplat（CVPR 2024 Highlight）基于3D高斯溅射技术，实现了开放词汇的3D场景交互（如物体定位与分割），解决了现有方法LERF的速度与精度缺陷。通过替换NeRF为高效高斯溅射，LangSplat渲染速度提升199倍；结合SAM的层级分割，消除边界模糊与语义歧义；并设计场景专属自编码器压缩CLIP特征，降低35倍内存开销。实验表明，该方法在语言查询任务中兼具实时性与高精度。 关键词： 3D高斯溅射、开放词汇查询、SAM分割、自编码器、实时交互

LogoSP：基于局部-全局超点分组的无监督3D点云语义分割（CVPR 2025 | 港理工） 本文提出LogoSP方法，解决现有无监督3D语义分割方法在特征质量和分组策略上的不足。核心创新包括：1）通过2D-3D特征蒸馏模块获取语义先验；2）自下而上的超点生长策略；3）基于图傅里叶变换的全局超点分组方法。具体实现中，首先利用预训练2D模型提取特征并投影到3D点云，然后通过超点生长构建层次结构，最后在频域中分析全局模式生成高质量伪标签。实验表明，该方法在多个基准数据集上优于现有技术，尤其在复杂场景中展现出更

CVPR2025最佳论文奖，来自牛津的VGG实验室。提出了真正的端到端重建： VGGT是一个前馈式（feed-forward）神经网络，仅需一次前向传播，就能在数秒内直接从输入的单张、少量或数百张图像中，一次性预测出场景的全套3D关键属性，包括相机内外参数、深度图、点图和3D点轨迹。

来自NIPS2023，本文提出Bridge3D框架，通过自监督学习弥合3D模型与多模态基础模型之间的领域差距。该框架包含三个核心组件：(1)基于基础模型生成的语义掩码指导3D掩码自编码器，提出前景感知的掩码与补丁丢弃策略；(2)场景级多模态知识蒸馏，利用图像描述生成技术对齐3D点云与文本/图像特征；(3)对象级知识蒸馏，通过解码器重构机制将视觉与文本特征融入3D表示学习。实验表明，该方法在下游任务中优于现有技术，首次实现了多基础模型协同的3D场景理解。相关工作为探索3D与语言/视觉的跨模态学习提供了新思路。

通过这种方式，3D 点充当nature prompt，以对齐从该 3D 点跨不同帧投影的pixel prompt，从而使同一 3D 对象的pixel prompt及其 SAM prediction mask在帧之间表现出一致性。最初在 3D 场景的 2D 帧上生成的prompt无法传播到覆盖其他帧中新出现的object，从而导致整个场景的分割不完整（c）（prompt时采用regular grid prompt，视角变化的话，prompt可能会消失）投影到的prompt可能不是最合适的）

首先使用 SAM 自动生成的 2D 掩模来预训练与类别无关的 3D 分割模型，这些掩模被投影到部分 RGB-D 点云。为此，在第二阶段，我们利用预训练模型的高置信度掩模预测作为训练信号，以自监督的方式在全 3D 点云上微调模型。Stage2 预训练预测中选高Score的参与监督，只对mask做loss，不对是否“object”做loss，如果将正确的mask预测为“无效”物体对训练有害（可理解为标签噪声的影响）2D 模型泛化能力和零样本能力强，启发：将 2D 模型的这些特征融入到 3D 模型中。

2.第一帧点云中的object mask（mask id为m）map到第二帧点云中的object mask（mask id为n），σmn为第二针点云中object mask id为n的点数量，σm为第一帧点云中maskid为m的点数量，σn为第一帧点云中maskid为n的点数量，满足下式则认为高度重叠，可合并成一个mask，其中阈值0.5。之后再将第一帧和第二帧点云调换过来重复上述步骤，将第一帧点云中id为n的mask改为id为m。之后将第二帧点云中id为m的mask改为id为n。

何凯明目标检测新作，颠覆分层Backbone理念。

1.瓶颈问题：小尺度目标，受限于缺乏足够的目标特征信息，使之很难从背景中区分出来，且小尺度目标一般都是低分辨率、模糊不清的，因此检测性能一般CNN-based目标检测算法都需要使用到下采样操作，导致小尺度目标不仅损失了空间位置信息，且本来很少的目标特征几乎被背景上的特征给淹没了2.本文贡献：提出了一种用于小物体检测的新型统一端到端多任务生成对抗网络（MTGAN），可以与任何现有的检测器结合使用在MTGAN中，生成器网络生成超分辨率图像，并引入多任务判别器网络，以同时区分真实的高分辨率

（可见图像和热成像）右侧的热图像可以在光照不足的情况下捕捉到更清晰的行人轮廓。 此外，热图像还捕捉到被柱子遮挡的行人。在光线充足的白天，视觉图像比热图像具有更多的细节，例如边缘、纹理和颜色。有了这些细节，我们可以很容易地找到隐藏在机动三轮车中的司机，而这在热图像中是很难找到的。1.瓶颈问题：现实世界中环境是不断变化的，比如雨天，雾天，晴天，...

论文解读TransFG: A Transformer Architecture for Fine-grained Recognition问题：Transformer还未应用在图像细分类领域中贡献点：1.vision transformer的输入把图像切分成patch，但是是没有overlap的，文章改成切分patch用overlap（这只能算个trick）2.Part Selection Module通俗讲就是最后一层的输入与vision transformer不同，即把最后一层前.