Identifying Multiple Personalities in Large Language Models with External Evaluation-优快云博客

本文是LLM系列文章，针对《Identifying Multiple Personalities in Large Language Models
with External Evaluation》的翻译。

利用外部评价识别大型语言模型中的多重人格

摘要
1 引言
2 相关工作
3 实验
4 结论
5 局限性

摘要

随着大型语言模型（LLM）与人类日常应用程序的快速集成，人们对LLM的行为提出了许多社会和伦理问题。理解LLM行为的方法之一是分析他们的个性。最近的许多研究使用为人类创建的自我评估测试来量化LLM的个性。然而，许多批评质疑这些自我评估测试在应用于LLM时的适用性和可靠性。在本文中，我们使用另一种人格测量方法来研究LLM的人格，我们称之为外部评估方法，其中，我们不是用Likert量表中的多项选择题来提示LLM，而是通过使用外部机器学习模型分析LLM对开放式情境问题的反应来评估LLM的性格。我们首先微调了一个Llama2-7B模型作为MBTI人格预测因子，该模型作为分析LLM反应的工具，优于最先进的模型。然后，我们向LLM提示情境问题，并要求他们分别生成推特帖子和评论，以评估他们在扮演两个不同角色时的个性。使用外部人格评估方法，我们发现LLM在生成帖子和评论时获得的人格类型显著不同，而人类在这两种不同的情况下表现出一致的人格特征。这表明LLM可以在不同的场景中表现出不同的个性，从而突出了LLM和人类个性之间的根本区别。在我们的工作中，我们呼吁重新评估LLM中的人格定义和测量。