“Understanding AI”: Semantic Grounding in Large Language Models

本文是LLM系列文章，针对《“Understanding AI”: Semantic Grounding in Large Language Models》的翻译。

摘要

LLM理解它们生成的文本的含义吗？它们具有语义基础吗？我们怎么能理解他们是否理解以及理解了什么？我在论文开始时观察到，我们最近目睹了人工智能的生成转变，因为包括LLM在内的生成模型是自我监督学习的关键。为了评估语义基础的问题，我区分并讨论了五种方法论方法。最有希望的方法是将思维哲学和语言哲学中意义理论的核心假设应用于LLM。基础被证明是一个渐进的过程，在功能基础、社会基础和因果基础之间有着三维的区别。LLM显示了所有三个方面的基本证据。一个强有力的论点是LLM开发世界模型。因此，LLM既不是随机鹦鹉，也不是语义僵尸，但至少在基本意义上已经理解了它们生成的语言。

1 引言

2 行为和内省方法

3 语义基础：应用语义学理论

4 结束语

在这篇论文中，我首先观察到，我们最近目睹了人工智能的生成性转变。生成性转变是深度学习革命的核心，因为包括LLM在内的生成模型是自我监督学习的关键。然后，我提出了一种五重方法来解决LLM的语义基础问题。事实证明，最有希望的方法是将思维哲学和语言中意义理论的核心假设应用于LLM。我们发现LLM既不是随机鹦鹉，也不是语义僵尸，而是必须被视为（i）合理的功能基础，（ii）弱的社会基础，以及（iii）间接的因果基础。一个有力的论据是LLM形成了世界模型，而这方面的证据是这些模型的表示几何遵循语义相似性。
最后，我想谈两点：首先，关于LLM世界模型的位置；第二，反思更直接的因果基础的前景。如第1.2节所述，transformer训练基于两步