On the Decision-Making Abilities in Role-Playing using Large Language Models

本文是LLM系列文章，针对《On the Decision-Making Abilities in Role-Playing using Large Language
Models 》的翻译。

摘要

大型语言模型（LLM）现在越来越多地用于角色扮演任务，尤其是在模拟特定领域的专家时，主要是通过角色扮演提示。当在现实世界场景中互动时，角色的决策能力会显著影响其行为模式。在本文中，我们专注于评估LLM角色扮演后的决策能力，从而验证角色扮演的有效性。我们的目标是为提高LLM在角色扮演任务中的决策能力提供指标和指导。具体而言，我们首先使用LLM来生成与Myers Briggs Type Indicator（缩写为MBTI）的16种人格类型相对应的虚拟角色描述，该16种性格类型表示人群的细分。然后，我们设计了具体的量化操作，从适应性、探索利用权衡能力、推理能力和安全性四个方面来评估LLM角色扮演后的决策能力。最后，我们通过GPT-4分析了决策性能与相应MBTI类型之间的关联。广泛的实验表明，不同角色的决策能力在四个方面存在稳定的差异，这表明决策能力与LLM模拟的角色之间存在强大的相关性。这些结果强调，LLM可以有效地扮演各种角色，同时体现其真正的社会学特征。

1 引言

2 相关工作

3 评估ChatGPT的决策能力

4 实验和分析

5 结论

本文旨在量化角色扮演后LLM的决策