MiniGPT-4：GIS领域AI图像理解测评

1 引言

一个月前，OpenAI向世界展示了具有强大多模态理解能力的GPT-4，让大家对GPT的图像理解和分析能力充满了期待和想象，但目前OpenAI暂未对用户开放GPT-4的识图功能，实验室也一直在等待上手试用。好在GPT技术日新月异，近日，阿卜杜拉国王科技大学(KAUST)研究团队开源了GPT4的平替版本——MiniGPT-4，让人们拥有一个自己的具有图像理解与对话能力的AI大模型成为可能。

MiniGPT-4 具有出色的多模态能力，据官方案例展示，它能够实现从手写草稿创建网站代码、生成详细的图像描述、看图写故事和诗歌、为图像中描述的问题提供解决方案，以及根据食物照片生成菜谱等亮眼功能。

本文未来GIS实验室针对该技术从GIS领域实测效果、模型细节、配置需求等方面进行分析，可以根据兴趣直接通过目录跳转。

2 实测效果

2.1 理解并分析图片

（1）降水距平百分率专题图

输入一张全国降水距平百分率专题地图，让MiniGPT-4描述图中信息及图的含义。它误将“降水距平百分率”当做“降水量”，因此在回答中均以降水量多少（单位毫米）来解释专题图所包含的信息。显然它没有理解图名及图例的含义。另外，中国北部和东北部整体颜色明显不同，并不能一概而论。

降水距平百分率指标是指某时段降水量与同期气候平均降水量之差除以同期气候平均降水量的百分比。降水距平百分率以历史平均水平为基础确定旱涝程度，反映了某时段降水量相对于同期平均状态的偏离程度。

等级	干旱程度	降水距平百分率
1	无旱	>-15
2	轻旱	15~-30
3	中旱	30~-40
4	重旱	40~-45
5	特旱	<=-45

同样是30天全国降水距平百分率专题图，当给MiniGPT-4解释了什么是“降水距平百分率”，说明图例的含义即进行一定的人为引导之后，再让MiniGPT-4分析图中情况。这一次回答明显优于上一次。答案中提到了降水量距平百分率在20%~40%之间，且将该指标与干旱程度相联系，指出百分率低的地区干旱、百分率高的地方降水多。但是在具体地区分布上还不够准确。

考虑到第一次测试用中文提问，MiniGPT-4用英文回答的情况，推测该模型更“习惯”使用英文，对于英文的理解及问答能力更强。因此用英文提问同样的问题。此次测试中，MiniGPT-4能够直接用“降水量高于/低于平均水平”来代替“降水距平百分率”来回答问题，可见它理解了图名的含义。并且在第二段指出该图只显示了降水异常百分比，并不是实际的降水量信息，这个解释是非常正确与贴切的。

继续提问，如果未来几个月的气候仍然是这个趋势，那对东北地区的农业会有什么影响。MiniGPT-4根据专题图得到东北地区降水低于平均水平，会导