An Early Evaluation of GPT-4V(ision)

本文是LLM系列文章，针对《An Early Evaluation of GPT-4V(ision)》的翻译。

摘要

在本文中，我们评估了GPT-4V的不同能力，包括视觉理解、语言理解、视觉解谜以及对深度、热、视频和音频等其他模式的理解。为了评估GPT-4V的性能，我们手动构建656个测试实例，并仔细评估GPT-4V的结果。研究结果的亮点如下：（1）GPT-4V在以英语视觉为中心的基准测试中表现出令人印象深刻的性能，但无法识别图像中的简单中文文本；（2） GPT-4V在回答与性别、种族和年龄等敏感特征相关的问题时表现出不一致的拒绝行为；（3） GPT-4V在包括一般语言理解基准和视觉常识知识评估基准在内的语言理解任务上获得比GPT-4（API）更差的结果；（4） 小样本提示可以提高GPT-4V在视觉理解和语言理解方面的表现；（5） GPT-4V努力寻找两张相似图像之间的细微差别，并解决简单的数学图片难题；（6）GPT-4V在与图像类似的模式（如视频和热）的任务上表现出了非凡的性能。我们的实验结果揭示了GPT-4V的能力和局限性，我们希望我们的论文能为GPT-4V的应用和研究提供一些见解。

1 引言

2 视觉理解

3 语言理解

4 视觉谜题解决

5 对其他模态的理解

6 结论

在本文中，我们定量研究了GPT-4V在各种任务中的性能。根