PHAnToM: Personality Has An Effect on Theory-of-Mind Reasoning in Large Language Models

本文是LLM系列文章，针对《PHAnToM: Personality Has An Effect on Theory-of-Mind Reasoning in Large Language Models》的翻译。

摘要

大型语言模型（LLM）的最新进展表明，在自然语言处理的许多任务中，它们的能力与人类相当，甚至优于人类。尽管取得了这一进展，LLM在人类天生擅长的社会认知推理方面仍然不足。本研究从对某些人格特征与心理理论推理之间联系的心理学研究以及对提示对LLM能力的超敏感性的提示工程研究中汲取灵感，调查了在LLM中使用提示诱导个性如何影响其心理理论推理能力。我们的研究结果表明，在三种不同的ToM任务中，某些诱导性格会显著影响LLM的推理能力。特别是，在不同的ToM任务中，来自Dark Triad的特征对LLM（如GPT-3.5、Llama 2和Mistral）有更大的可变影响。我们发现，在ToM中表现出更高的人格提示方差的LLM在人格测试中也更容易控制：GPT-3.5、Llama 2和Mistral等LLM的人格特征可以通过我们的人格提示进行可控调整。在当今使用LLM时，角色扮演是一种常见的策略，我们的研究强调了谨慎的必要性，因为采用具有个性的特定人物角色的模型也可能以意想不到的方式改变其推理能力。

1 引言

2 相关工作

3 方法

4 实验和发现

6 结论

我们的论文PHAnToM揭示了人格对LLM中ToM推理的影响。特别是，与五大OCEAN相比，来自黑暗三位一体的诱导特征对模型和任务的ToM性能的影响更大，尤其是对于GPT-3.5、LIama 2和Mistral等LLM。更广泛地说，这项工作证实了先前的研究结果，即在L