Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities

本文是LLM系列文章，针对《Open Models, Closed Minds? On Agents Capabilities in Mimicking Human Personalities through Open Large Language Models》的翻译。

摘要

在大型语言模型（LLM）中揭示类人行为的出现，使NLP与人类心理学之间的联系更加紧密，从而导致计算代理的激增。学者们一直在研究LLM代理人所表现出的内在个性，并试图将人类的特征和行为融入其中。然而，这些努力主要集中在商业许可的LLM上，忽视了开放LLM的广泛使用和显著进步。这项工作旨在通过使用开放LLM对代理人模仿人类性格的能力进行全面检查来解决这一差距。为了实现这一点，我们基于最具代表性的开放模型生成了一组10个LLM代理，并对它们进行了一系列关于Myers Briggs类型指标（MBTI）测试的评估。我们的方法包括评估Open LLM代理的内在性格特征，并确定这些代理在受特定性格和角色制约时模仿人类性格的程度。我们的研究结果揭示：（i）每个Open LLM代理都展示了不同的人类个性；（ii）人格条件提示对主体产生不同的影响，只有少数主体成功地反映了强加的人格，而大多数主体是“封闭管理的”（即，他们保留了自己的内在特征）；（iii）将角色与人格制约相结合，可以增强主体模仿人类人格的能力；以及（iv）通常与教师角色相关的个性往往更准确地被模仿。我们的工作代表着通过开放LLM的视角，在理解NLP与人类心理之间的紧密关系方面迈出了一步。

1 引言

2 背景

3 方法

4 结果与讨论

5 结论

鉴于LLM中揭示类人行为的最新进展以及计算LLM代理的广泛使用，理解这些代理所表达的固有个性对于促进人机交互的负责任发展和确保这些代理在我们的社会中的安全部署至关重要。
在这项研究中，我们专注于最相关和最广泛使用的开放LLM，以促进我们对计算代理中类人性格的了解。通过采用Myers-Briggs人格测试，我们首次对Open LLM代理人的内在人格类型进行了评估。我们探索了Open LLM代理在特定提示条件下镜像特定人格类型的当前能力，包括对人格类型和行为的约束，以及与这些人格相关的代表性角色（即人类职业）。
我们的研究问题揭示了开放式LLM中基于其可区分的内在人格类型的足迹身份的出现，这些模型如何通过对特定人格和角色的提示调节来反映人类人格特征具有显著的异质性。SOLAR、Dolphin和NeuralChat等模型显示出非凡的模仿能力，而大多数模型则显示出封闭管理。进一步注意到，我们发现，通常与教师角色相关的个性往往会被更准确地模仿。
我们相信，我们的发现可以作为理解NLP和人类心理之间复杂相互作用的额外基石。我们的研究可以被视为增强我们的知识的基础，并有可能在可预见的未来改进类人计算代理的负责任开发。