Paper reading: Joint Representation Learning for Text and 3D Point Cloud

视觉-语言预训练大模型（如CLIP）已经显示出，能够从语言监督信息中提升视觉模型。但是由于3D-文本对获取的困难性和3D数据结构的不规则性，3D点云-文本的联合表示学习依然没有得到很好地研究。因此，提出一个Text4Point框架来构建语言引导的3D点云模型。关键的思路是利用2D图像作为一个桥梁，连接点云和语言两种不同的模态数据。Text4Point框架遵循预训练和fine-tuning的思路。在预训练阶段，基于RGB-D数据简历图像和点云之间的对应关系，利用对比学习来对齐图像和段云表示。和CLIP模型中已对齐的图像-文本特征图，可以把点云特征和文本嵌入做一个隐形的对齐。提出一个文本查询模块，通过查询文本嵌入和点云特征，把语言信息整合到3D表示学习中。在fine-tuning阶段，利用没有二维图像的标签集的语言指导，模型学习该模型学习特定于任务的 3D 表示。