CAPE: Context-Aware Personality Evaluation Framework for Large Language Models

CAPE框架研究总结与关键部分翻译

一、文章主要内容总结

本文聚焦大型语言模型（LLMs）人格评估的局限性，提出了首个上下文感知人格评估（CAPE）框架，核心内容如下：

1. 研究背景与问题

传统LLMs人格评估采用“迪士尼世界测试”（Disney World test）模式，即孤立回答每个心理测量问题，忽略对话历史对响应的影响，与现实中LLMs需依托多轮对话的应用场景脱节。同时，现有评估对LLMs响应一致性的量化缺乏有效指标，难以准确衡量其人格稳定性。

2. 核心方法

• CAPE框架：将对话历史（先前的问题与响应）纳入评估流程，定义对话历史为Ht−1={ (q1,r1),(q2,r2),...,(qt−1,rt−1)}H_{t-1}=\{(q_{1}, r_{1}),(q_{2}, r_{2}), ...,(q_{t-1}, r_{t-1})\}