Beyond Self-Reports: Multi-Observer Agents for Personality Assessment in Large Language Models

主要内容

1. 研究背景：大语言模型（LLMs）应用广泛，评估其人格特质至关重要。传统基于自我报告问卷的人格评估方法存在局限性，在评估LLMs人格时可能不可靠，存在偏差和数据污染问题。
2. 相关工作：介绍了常用的人格评估框架，如大五人格量表（BFI）等，以及多评价者评估人格特质的研究。同时指出在LLMs人格评估中，自我报告方法存在不一致性和可靠性问题。
3. 方法：提出多观察者框架，为每个主体LLM代理配置多个具有特定关系（家庭、朋友、工作场所）的观察者代理。通过自动生成互动场景，让主体和观察者代理对话，观察者基于对话对主体进行人格评分，最后汇总评分得出综合评估。
4. 实验设置：以GPT-4o和Llama-3为LLM代理，使用GPT-4o生成关系和场景，采用国际人格项目库（IPIP）的50题问卷进行人格评估。每个主体代理配有15个观察者代理，分属三种关系类型，为每对主体和观察者代理生成5个场景。
5. 实验结果：发现LLMs在自我报告宜人性人格特质时存在系统性偏差。关系类型对开放性、尽责性等特质的评估有显著影响。增加观察者数量可提高评估准确性，但5 - 7个观察者后效果趋于稳定，不同人格特质的评估准确性存在差异。案例研究进一步证实了多观察者评估的有效性。
6. <