【多模态基础模型与具身智能】3D视觉-语言模型与神经辐射场

3D视觉-语言模型与神经辐射场

3D-LLM对点云/NeRF场景的理解，推导3D特征提取与2D投影间的几何一致性损失，介绍LERF等语言嵌入辐射场方法

---

一、核心概念与知识图谱

3D视觉-语言模型（3D-VLM）的核心挑战在于：如何将缺乏互联网规模3D-语言配对数据的三维世界，接入已在大规模2D图文数据上预训练的多模态大模型。3D-LLM通过"2D特征提取→3D几何聚合→语言空间对齐"的三段式管线解决此问题；LERF则直接在NeRF中嵌入语言场，使每个3D位置携带可查询的语义特征。二者共同构建了从离散点云到连续辐射场的3D语义理解范式。

---

二、总体结构图

3D-LLM与LERF在顶层架构上呈现"离散-连续"两条路径。3D-LLM面向场景级点云，通过多视角渲染提取2D密集特征，再经几何聚合生成点云特征，最终注入LLM；LERF面向神经辐射场，在标准NeRF的密度场与颜色场之外并行优化语言场，支持任意视角的语义渲染与开放词汇查询。

---

三、各模块设计图

3.1 3D-LLM特征提取与聚合模块

3D-LLM的3D特征构建包含三个子模块，分别适配不同质量的三维数据源：直接重建模块利用完美相机参数将RGBD特征映射到点云；特征融合模块通过gradslam在存在噪声时融合深度与特征；神经场模块则以体素场表征无深度场景，通过MSE损失对齐3D射线特征与2D像素特征。

3.2 LERF语言嵌入辐射场模块

LERF在标准NeRF之外引入语言场分支。每个3D位置x携带尺度感知的语言特征F_lang(x,s)，通过体渲染方程沿射线积分，输出2D CLIP特征图。监督信号来自预计算的多尺度CLIP特征金字塔，损失函数最大化渲染特征与目标特征的点积相似度。

---

四、模块协同与闭环数据流

3D-LLM的推理闭环遵循"渲染-提取-聚合-推理"循环：3D场景经多视角渲染生成2D图像，视觉编码器提取像素对齐特征，几何聚合模块将特征反投影至3D点云，Perceiver将可变长度的点云特征压缩为固定token序列，最终送入LLM生成3D问答。LERF的闭环则为"射线采样-场查询-体渲染-语义对比"：相机射线在3D空间中采样点，语言场查询每点语义特征，体渲染积分得到视角特征图，与文本编码进行余弦相似度计算，输出3D相关度热力图。

---

五、接口对接与信号流向

3D-LLM的对外接口包括：3D场景输入（点云/网格/NeRF参数）、自然语言指令（问答/定位/描述）、以及3D位置token序列（AABB边界框的离散化坐标）。LERF的接口包括：多视角RGB图像（训练时）、相机位姿与内参、文本查询字符串，输出为像素级或3D点级的语义相关度分数。内部信号流中，3D-LLM通过Perceiver实现任意长度点云到固定LLM token的映射；LERF通过共享瓶颈同时输出DINO自监督特征与CLIP语言特征，增强语义稳定性。

---

六、三层架构总览

物理层部署于GPU工作站或机器人边缘节点，承载多视角渲染、NeRF体渲染与LLM前向计算；信号层包含四类数据流：RGB像素流、深度/位姿流、2D特征流、3D点特征流；应用层面向具身智能场景，包括3D视觉问答、开放词汇3D定位、语言引导的机器人抓取与导航。

---

七、3D-LLM：从多视角到点云的联合概率建模

7.1 问题设定与核心思想

3D-LLM是首个将3D世界注入大语言模型的工作，其发表于NeurIPS 2023。由于互联网规模的3D-语言配对数据远不及2D图文数据丰富，3D-LLM采取"借力2D，聚合3D"的策略：利用已在十亿级图文对上预训练的2D视觉-语言模型（如BLIP-2、Flamingo）提取像素级语义特征，再通过几何手段将这些特征聚合为3D点云表示，最终送入LLM进行3D场景理解、问答与定位。citeweb_search:12#9web_search:12#10

7.2 三种3D特征构建范式

根据输入3D数据的质量差异，3D-LLM设计了三种互补的3D特征构建方法：citeweb_search:12#9

直接重建适用于具有完美相机参数与深度图的合成数据。通过地面真值相机内参与外参，将RGBD图像反投影为3D点云，2D特征直接映射到对应的3D点。该方法简单高效，但对传感器精度要求苛刻。

特征融合适用于带有噪声深度或相机位姿的真实扫描数据。借鉴gradslam框架，在融合深度与颜色的同时，将2D密集特征逐帧融合到全局3D地图中。特征融合过程与SLAM建图联合优化，通过可微分光束法平差抑制噪声累积。

神经场适用于仅有RGB图像、无深度数据且相机参数含噪的场景。该方法构建神经体素场，每个体素存储密度、颜色与特征三项属性。设体素场为 $\Phi (x)=(\sigma (x),c(x),f(x))$，对任意相机射线 $r(t)=o+td$，沿射线采样点并查询体素三线性插值特征，通过体渲染得到2D特征图：

$${\hat{F}}_{\text{2D}}(r)={\int }_{t_n}^{t_f}T(t)\sigma (t)f(r(t))dt,$$

其中 $T(t)=\exp \left(-{\int }_{t_n}^t\sigma (s)ds\right)$ 为累积透射率。该渲染方程与标准NeRF一致，仅将颜色替换为特征向量。

7.3 几何一致性损失推导

神经场方法的核心在于保证3D体素特征经体渲染投影到2D后，与2D视觉编码器提取的像素特征保持一致。设2D视觉编码器（如CLIP）在视角 $v$ 下提取的像素特征图为 $F_{\text{gt}}^{(v)}$，神经场渲染的对应特征图为 ${\hat{F}}_{\text{2D}}^{(v)}$。几何一致性损失采用均方误差：

$${\mathcal{L}}_{\text{geo}}=\sum _v\sum _{r\in {\mathcal{R}}_v}{\Vert {\hat{F}}_{\text{2D}}(r)-F_{\text{gt}}^{(v)}(r)\Vert }_2^2.$$

该损失函数强制3D体素特征在任意视角投影后与2D监督信号对齐，从而将2D视觉-语言先验蒸馏到3D空间中。由于体渲染过程对密度场 $\sigma (x)$ 可微，该损失可同时优化几何重建与特征分布，使3D特征具备多视角一致性。citeweb_search:12#9

7.4 3D定位机制与位置编码

为使LLM理解3D空间关系，3D-LLM引入双重空间增强机制。第一，对聚合后的3D点特征附加正弦-余弦位置编码：对每点的三维坐标 $(x,y,z)$，分别生成维度为 $D_v/3$ 的sin/cos编码，拼接为 $D_v$ 维向量后与点特征相加。第二，在LLM词表中扩充位置token：将连续边界框坐标均匀离散化为体素整数，形成AABB格式的位置token序列 $⟨x_{\min },y_{\min },z_{\min },x_{\max },y_{\max },z_{\max }⟩$，并在输入输出嵌入层中解冻这些token的权重进行端到端训练。citeweb_search:12#4

---

八、LERF：语言嵌入辐射场

8.1 语言场的定义与体渲染

LERF（Language Embedded Radiance Fields）在ICCV 2023提出，其核心是在NeRF中引入与几何场、颜色场并行的语言场。对3D位置 $x$ 与查询尺度 $s$，语言场输出CLIP语义特征 $F_{\text{lang}}(x,s)\in {\mathbb{R}}^{D_{\text{CLIP}}}$。尺度 $s$ 随采样点距相机原点的距离自适应调整，以捕捉不同大小的物体。citeweb_search:11#3web_search:11#5

沿相机射线 $r(t)=o+td$ 的体渲染方程将3D语言特征投影为2D CLIP特征图：

$${\varphi }_{\text{lang}}(r)=\int T(t)\sigma (t)F_{\text{lang}}(r(t),s(t))dt,$$

其中 $T(t)$ 与 $\sigma (t)$ 来自标准NeRF密度场，$s(t)$ 根据深度自适应。渲染后的特征向量归一化至单位球面，与CLIP文本编码进行余弦相似度计算，得到像素级语义相关度。citeweb_search:11#3

8.2 多尺度CLIP监督与损失函数

LERF的训练监督来自预计算的多尺度CLIP特征金字塔。对训练视角的每张图像，在多个尺度下提取图像块的CLIP嵌入作为地面真值 ${\varphi }_{\text{gt}}$。语言场的优化目标为最大化渲染特征与目标特征的点积相似度：

$${\mathcal{L}}_{\text{lang}}=-{\lambda }_{\text{lang}}\sum _i{\varphi }_{\text{lang}}^{(i)}\cdot {\varphi }_{\text{gt}}^{(i)}.$$

该损失等价于最小化负余弦相似度，迫使语言场在3D空间中复现2D CLIP的语义结构。为避免纯CLIP监督带来的多视角不一致（不同视角可能选择不同最优尺度），LERF额外引入DINO自监督特征通过共享瓶颈进行正则化，增强语义稳定性。citeweb_search:11#3web_search:11#6

8.3 开放词汇查询与3D相关图

推理阶段，用户输入任意文本查询 $q$，经CLIP文本编码器得到 ${\varphi }_{\text{text}}(q)$。对3D场景中每条相机射线渲染语言特征 ${\varphi }_{\text{lang}}(r)$，计算相关度分数：

$$\text{Relevancy}(r,q)=\frac{{\varphi }_{\text{lang}}(r)\cdot {\varphi }_{\text{text}}(q)}{\Vert {\varphi }_{\text{lang}}(r)\Vert \Vert {\varphi }_{\text{text}}(q)\Vert }.$$

该分数在2D图像上形成相关度热力图，通过多视角聚合即可定位3D空间中的语义目标。由于语言场是连续的3D表示，LERF支持任意新视角的实时查询，无需重新提取2D特征。citeweb_search:11#5

---

九、后续演进：从NeRF到3D Gaussian Splatting

9.1 特征蒸馏的效率瓶颈

LERF基于NeRF的MLP查询与体渲染在训练与推理上计算代价高昂。后续工作将语言嵌入扩展至3D Gaussian Splatting（3DGS）表示，如LangSplat、LEGaussians等。3DGS将场景表示为显式的3D高斯椭球，每个高斯携带语言特征，通过光栅化而非体渲染实现实时查询。citeweb_search:11#10web_search:11#13

9.2 点级语义损失与3D一致性改进

SPNeRF等后续工作指出，LERF在2D渲染特征上计算损失会导致3D空间中的语义不一致——不同视角可能为同一3D点选择不同尺度或不同语义。改进方案提出点级语义损失：直接在3D采样点上监督语言嵌入，而非在渲染后的2D像素上。设射线 $r$ 上的采样点为 {xj}\{x_j\}{xj​}，点级损失为

$${\mathcal{L}}_{\text{point}}=\sum _r\sum _{x_j\in r}{\Vert F_{\text{lang}}(x_j)-{\varphi }_{\text{gt}}^{(r)}\Vert }^2,$$

其中 ${\varphi }_{\text{gt}}^{(r)}$ 为该射线对应视角的CLIP目标特征。该损失强制3D点本身携带正确语义，而非仅保证2D投影一致，显著提升了3D分割精度与多视角稳定性。citeweb_search:11#6web_search:11#7

---

十、总结

3D-LLM与LERF分别代表了"离散点云-LLM"与"连续辐射场-语言嵌入"两条3D视觉-语言理解路径。3D-LLM通过神经场的体渲染方程

$${\hat{F}}_{\text{2D}}(r)=\int T(t)\sigma (t)f(r(t))dt$$

与几何一致性MSE损失，将2D视觉-语言先验蒸馏为3D点云特征；LERF则通过语言场的体渲染

$${\varphi }_{\text{lang}}(r)=\int T(t)\sigma (t)F_{\text{lang}}(r(t),s(t))dt$$

与点积监督损失，实现开放词汇的3D语义查询。后续工作通过3D Gaussian Splatting与点级语义损失，将语言嵌入从NeRF的隐式MLP推进到显式3D高斯，在保持语义能力的同时实现了实时渲染与更严格的3D一致性约束。citeweb_search:12#9web_search:11#3web_search:11#6

---

参考文献

• Hong, Y., Zhen, H., Chen, P., Zheng, S., Du, Y., Chen, Z., & Gan, C. (2023). 3D-LLM: Injecting the 3D world into large language models. NeurIPS 2023 Spotlight. citeweb_search:12#9
• Kerr, J., Kim, C. M., Goldberg, K., Kanazawa, A., & Tancik, M. (2023). LERF: Language embedded radiance fields. ICCV, 19729–19739. citeweb_search:11#3
• Peng, S., & Genova, K. (2023). OpenScene: 3D scene understanding with open vocabularies. CVPR. citeweb_search:11#10
• Qin, M., Li, W., Zhou, J., Wang, H., & Pfister, H. (2023). LangSplat: 3D language Gaussian splatting. arXiv. citeweb_search:11#10