Joint Visual and Text Prompting for Zero-Shot Object-Oriented Perception with Multimodal LLM

本文是LLM系列文章,针对《Joint Visual and Text Prompting for Zero-Shot Object-Oriented Perception with Multimodal Large Language Models》的翻译。

多模态大语言模型下零样本面向对象感知的视觉和文本联合提示

摘要

多模态大型语言模型(MLLM),如GPT-4V和Gemini Pro,在视觉问答(VQA)中实现人类水平的感知方面面临挑战,特别是在面向对象的感知任务中,这些任务需要对对象身份、位置或属性进行细粒度的理解,正如实证结果所表明的那样。这主要是因为它们将复杂的视觉线索与文本信息和潜在的物体幻觉有效整合的能力有限。本文提出了一种新的方法,即联合视觉和文本提示(VTPrompt),该方法利用细粒度的视觉信息来增强VQA中MLLM的能力,特别是面向对象的感知能力。VTPrompt融合了视觉和文本提示,从文本问题中提取关键概念,并采用检测模型在图像中突出显示相关对象作为视觉提示。处理后的图像和文本提示随后被输入MLLM,以产生更准确的答案。我们在三个基准测试(即MME、MMB和POPE)上对GPT-4V和Gemini Pro进行的实验证明了显著的改进。特别是,我们的方法使GPT-4V在MME上的得分提高了183.5分,并使GPT-4V和Gemini Pro的MMB性能分别提高了8.17%和15.69%。我们的代码发布

### 零样本提示的概念 零样本提示(Zero-Shot Prompting)是指在没有任何特定任务训练的情况下,通过提供自然语言指令让模型完成指定的任务。这种方法依赖于预训练的语言模型所具备的广泛知识库来理解和执行从未见过的任务。 大型语言模型能够接收简单的文本描述并据此做出合理的响应[^4]。这种能力使得即使是没有针对具体应用场景进行过专门调优的大规模预训练模型也能够在多种多样未曾遇过的实际问题上表现出良好的泛化性能。 ### 实际应用案例 #### 文本分类 假设有一个需求是要区分电子邮件是否属于垃圾邮件类别,在没有额外标注数据的前提下可以向LLM发出如下形式的请求: ```plaintext Classify the following email as spam or not-spam. Email content: "Congratulations! You've won a free iPhone..." ``` #### 问答系统 对于构建开放域问答系统而言,可以直接询问复杂事实性问题而不必事先准备大量相似样例供学习: ```plaintext Answer this question based on common knowledge. Question: What is the capital city of France? ``` #### 数据转换 当面临结构化信息重组的需求时,比如将日期格式统一调整成ISO标准样式,则只需给出清晰的操作指南即可获得预期结果: ```plaintext Convert these dates into ISO format YYYY-MM-DD. Dates: March 1st, 2023; Jan 5th, '22 ``` 上述例子展示了零样本提示可以在不同领域内快速部署解决方案的优势所在,同时也反映了其灵活性以及减少人工成本的特点。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值