heyiting666的博客

ULIP-2: Towards Scalable Multimodal Pre-training for 3D Understanding**（Salesforce AI Research 等，CVPR 2024）研究的是**如何让 3D 点云表征学习到大规模图文预训练模型（如 CLIP）的开放语义**，从而具备 zero-shot / 开放词表能力。

ULIP（Learning a Unified Representation of Language, Images, and Point Clouds）：**不绕道投影，直接训练 3D 编码器对齐到 CLIP 已对齐的图文空间**。它冻结预训练 CLIP 当「老师」，只用 ShapeNet55 自动合成的少量三元组训练 3D 编码器，让 3D 表征真正学到开放语义，在 zero-shot 3D 分类上比 PointCLIP 高出 **28.8%** top-1 accuracy。

点云深度学习三篇核心论文对比摘要 本文系统对比了PointNet、PointNet++和PointCLIP三篇点云深度学习领域的代表性工作。通过方法对照表、技术trade-off分析和知识图谱梳理，揭示了点云理解方法的演进规律：从直接处理原始点云的对称函数设计（PointNet），到层次化局部建模（PointNet++），再到跨模态知识迁移（PointCLIP）。研究显示，随着范式从"3D自主建模"转向"2D预训练知识迁移"，模型的数据效率显著提升，但几何建模能力相应减弱。三者在技术路线上既存在继承性又保持

【论文摘要】PointCLIP提出了一种创新的3D点云理解方法，通过多视角深度图投影将点云数据转化为2D图像，直接利用预训练的CLIP模型实现零样本分类。该方法无需3D标注数据，仅需少量样本微调轻量Adapter即可达到87.2%的分类准确率。实验表明其与全监督3D网络具有知识互补性，融合后性能提升2.39%。研究突破了3D数据标注的瓶颈，开辟了"2D→3D知识迁移"的新范式，为后续多模态3D研究奠定基础，但存在几何推理能力较弱等局限性。

PointNet++是PointNet的改进版本，针对点云非结构化的特性，提出了一种层次化特征学习方法。其核心创新在于Set Abstraction模块，通过最远点采样（FPS）、球查询（Ball Query）和微型PointNet三个步骤，实现了类似CNN的局部感受野和层次化抽象。FPS保证采样点均匀覆盖，Ball Query固定空间尺度避免密度不均问题，MSG和MRG策略进一步增强了密度适应性。分割任务通过特征传播层恢复稠密点预测。实验证明其在分类和分割任务上显著优于PointNet。该方法为后续3D点

3D 点云的第一块基石，就是 PointNet。在读它之前，我一直有个执念：**深度学习不都是 CNN / RNN 那一套吗？点云这种"乱七八糟一堆点"的数据，怎么喂进网络？**PointNet 最牛的地方，恰恰是把这个"怎么喂"的问题彻底解决——它**第一次实现了对原始无序点集的端到端直接学习**，既不体素化、也不投影成多视图，点来就是点，直接吃。

本文对比分析了5种视觉语言预训练模型（CLIP、BLIP、ALBEF、CoCa、BLIP-2）的架构特点与演进趋势。核心发现包括：1）所有模型均采用图像-文本对比学习（ITC）作为基础对齐机制；2）融合策略经历了从无融合到晚期融合再到桥接范式的演变；3）计算成本优化路径为超大batch→动量队列→冻结大模型；4）模型逐渐从单一检索任务发展为检索与生成统一。文章特别探讨了这些2D多模态技术对3D点云研究的迁移价值，指出双塔对比、动量队列、Q-Former桥接等创新可应用于3D点云的多模态对齐和大模型构建。该比

BLIP-2精要总结（148字） BLIP-2通过轻量级Q-Former桥接冻结的视觉编码器与LLM，实现高效多模态预训练。其核心是32个可学习Query向量作为信息瓶颈，分两阶段训练：①表示学习（ITC/ITG/ITM三任务）提取文本对齐的视觉特征；②生成学习将Query投影为LLM的软视觉提示。冻结策略既保护LLM知识不遗忘，又大幅降低计算成本。该范式为3D多模态（如Point-LLM）提供关键思路——用轻量适配器撬动大模型潜力，尤其适合数据稀缺的3D领域。

本文介绍了CoCa模型，这是一种创新的视觉-语言基础模型，通过解耦式解码器设计实现了单模型端到端支持分类、检索、理解和生成四大任务。CoCa的关键创新包括：1）将解码器分为底层单模态和顶层多模态两部分，分别用于对比学习和生成任务；2）单次前向计算同时优化对比损失和生成损失；3）采用可学习的注意力池化器适配不同任务需求。实验表明，CoCa在多个基准上超越同期模型，为多模态统一表征提供了新范式。文章还探讨了该设计对3D点云任务的启示，如统一表征构建和注意力池化技术的迁移应用。作者指出该模型依赖大算力的局限，并预

ALBEF提出"融合前先对齐"的创新思路，通过三阶段设计解决多模态学习痛点：1）使用动量队列实现小批量海量负样本对比学习；2）采用MLM+ITM任务促进深度模态融合，配合硬负样本挖掘提升判别力；3）创新性引入动量蒸馏机制，用软标签缓解网络数据噪声问题。该模型在显存效率（512 batch+65536队列）和性能（检索/理解任务）间取得平衡，对3D点云多模态研究的负样本构造、噪声处理和细粒度对齐具有直接启发。相比同期BLIP，ALBEF以更轻量架构实现可比效果，但缺乏生成能力，后续CoCa等工作中得到进一步扩

BLIP提出了一种创新的多模态混合编码器-解码器(MED)架构，通过三种形态（单模态编码、图文交互编码、文本生成）实现检索-理解-生成一体化。核心创新包括：1)参数共享设计，最大化多任务效率；2)CapFilt数据清洗方法，通过生成-过滤机制提升训练数据质量；3)三损失联合优化(ITC/ITM/LM)。相比CLIP，BLIP在保持对比学习能力的同时增强了语义理解和生成能力。该框架对3D点云多模态研究具有重要启示，特别是数据清洗和跨模态对齐方面。

如果说 Transformer 是后面所有模型的"计算单元"，那 CLIP 就是整个多模态方向的"地基"——尤其是我主攻的 **3D 点云多模态**。为什么这么说？因为后面要读的 ULIP、Uni3D，本质上都是"把 CLIP 的对齐思想从 2D 搬到 3D"；PointCLIP 更是直接拿 CLIP 训好的权重做点云 zero-shot。

本周的学习是整个暑期计划的**基石阶段**，与后续每一周都直接相关：

本周精读了两篇论文：- **Transformer**（NeurIPS 2017）：为 NLP 序列建模而生，Encoder-Decoder 架构- **ViT**（ICLR 2021）：把 Transformer 从 NLP 带入 CV，仅用 Encoder 做图像分类一个自然的疑问是：**ViT 到底对原始 Transformer 做了哪些改造？哪些保留了，哪些变了，为什么这么变？**这篇对比博文就是回答这个问题。

ViT论文精读摘要（145字）： Vision Transformer（ViT）开创性地将纯Transformer架构应用于图像识别。其核心是将图像切分为16×16的Patch，线性投影为序列化Token，通过可学习的1D位置编码保留空间信息。研究发现，尽管缺乏CNN的局部性和平移等变性先验，ViT在大规模预训练（如JFT-300M）后展现出超越CNN的性能，证明Transformer能从数据中自主学习空间结构。小数据场景下ViT弱于CNN，但大数据使其全局注意力机制的优势充分释放。该工作为多模态学习奠定基

本文是Transformer架构的开山之作《Attention Is All You Need》的精读笔记，主要包含四部分核心内容： 纯注意力的必要性：通过对比RNN/CNN的局限，论证Transformer在并行化（O(1)顺序操作）、长程依赖（O(1)路径长度）、计算效率（n²·d复杂度优于n·d²）和多头表征（子空间学习）方面的优势。 位置编码设计：提出正弦/余弦位置编码，既保留绝对位置信息，又通过线性变换性质实现相对位置感知，解决了非时序架构的顺序建模问题。 注意力机制解析：以"图书馆找书"类比QK