Comparing Abstraction in Humans and Large Language Models Using Multimodal Serial Reproduction

本文是LLM系列文章，针对《Comparing Abstraction in Humans and Large Language Models
Using Multimodal Serial Reproduction》的翻译。

摘要

人类从嘈杂的感官数据中提取有用的世界抽象。串行复制使我们能够研究人们如何通过类似于电话游戏的范式来构建世界，在电话游戏中，一个人观察一个刺激，并为下一个人复制它，以形成复制链。过去的一系列复现实验通常采用单一的感官模式，但人类经常通过语言相互交流世界的抽象概念。为了研究语言对抽象形成的影响，我们实现了一个新颖的多模态连续再现框架，要求接受视觉刺激的人以语言形式再现，反之亦然。我们对人类和GPT-4进行了单模态和多模态链分析，发现添加语言作为模态对人类复现的影响比GPT-4的更大。这表明人类的视觉和语言表征比GPT-4的更不可分解。

引言

方法

结果

讨论

在这项工作中，我们使用一个框架探索了人类和GPT-4中的抽象，该框架涉及在二进制网格板的简单而丰富的刺激空间中的串行复制（图1）。此前，序列复制已被用于引出人类先验。人类经常通过语言相互分享他们感官体验的抽象概念。然而，人类构建的世界抽象可以通过多种模态来表示，串行复制和类似的迭代方法通常只使用单一模态。本文提出了一种新的多模态连续再现范式，在这种范式中，人们在通过视觉和语言进行传递之间交替。这提供了一种确定先验在多大程度上跨模态共享的方法。
我们为人类和GPT-4运行了单模式和多模式连续繁殖链（图2）。定性地说，对于人类来说，我们发现多模态链样本似乎更容易用语言描述（图3）。从数量上讲，我们发现有证据表明，通过语言传递的增加导致在平稳分布中出现更可压缩（因此，更抽象）的刺激（图第5A段）。此外，语言表示比单一模态板更能