Comparing Abstraction in Humans and Large Language Models Using Multimodal Serial Reproduction

本文是LLM系列文章，针对《Comparing Abstraction in Humans and Large Language Models
Using Multimodal Serial Reproduction》的翻译。

摘要

人类从嘈杂的感官数据中提取有用的世界抽象。串行复制使我们能够研究人们如何通过类似于电话游戏的范式来构建世界，在电话游戏中，一个人观察一个刺激，并为下一个人复制它，以形成复制链。过去的一系列复现实验通常采用单一的感官模式，但人类经常通过语言相互交流世界的抽象概念。为了研究语言对抽象形成的影响，我们实现了一个新颖的多模态连续再现框架，要求接受视觉刺激的人以语言形式再现，反之亦然。我们对人类和GPT-4进行了单模态和多模态链分析，发现添加语言作为模态对人类复现的影响比GPT-4的更大。这表明人类的视觉和语言表征比GPT-4的更不可分解。

引言

方法

结果

讨论

在这项工作中，我们使用一个框架探索了人类和GPT-4中的抽象，该框架涉及在二进制网格板的简单而丰富的刺激空间中的串行复制（图1）。此前，序列复制已被用于引出人类先验。人类经常通过语言相互分享他们感官体验的抽象概念。然而，人类构建的世界抽象可以通