GPT-4 ENHANCED MULTIMODAL GROUNDING FOR AUTONOMOUS DRIVING-优快云博客

本文是LLM系列文章，针对《GPT-4 ENHANCED MULTIMODAL GROUNDING FOR AUTONOMOUS DRIVING: LEVERAGING CROSS-MODAL ATTENTION WITH LARGE LANGUAGE MODELS》的翻译。

GPT-4增强的自动驾驶多模态基础：利用大型语言模型的跨模态注意力

摘要
1 引言
2 相关工作
3 提出的模型
4 实验
5 用户研究
6 结论

摘要

在自动驾驶汽车领域，准确识别指挥官意图并在视觉环境中执行语言命令是一个重大挑战。本文介绍了一种复杂的编码器-解码器框架，该框架是为解决AV中的视觉基础而开发的。我们的上下文感知视觉基础（CAVG）模型是一个先进的系统，它集成了五个核心编码器——文本、图像、上下文和跨模态——和一个多模态解码器。这种集成使CAVG模型能够熟练地捕捉上下文语义并学习人类情感特征，并通过包括GPT-4在内的最先进的大型语言模型（LLM）进行增强。通过实现多头跨模态注意力机制和用于注意力调制的区域特定动态（RSD）层，增强了CAVG的架构。这种架构设计使模型能够有效地处理和解释一系列跨模态输入，从而全面了解口头命令和相应视觉场景之间的相关性。对Talk2Car数据集（一个真实世界的基准）的经验评估表明，CAVG在预测准确性和操作效率方面建立了新的标准。值得注意的是，即使在有限的训练数据（占整个数据集的50%至75%）下，该模型也表现出非凡的性能。该功能突出了其在实际AV应用中的有效性和部署潜力。此外，CAVG在具有挑战性的场景中表现出了显著的稳健性和适应性，包括长文本命令解释、弱光条件、模糊的命令上下文、恶劣的天气条件和人口稠密的城市环境。拟议模型的代码可在我们的Github上获得。