Are Large Language Models Chameleons?

本文是LLM系列文章，针对《Are Large Language Models Chameleons?》的翻译。

摘要

大型语言模型 （LLM） 有自己的世界观和个性倾向吗？要求 LLM 回答主观问题的模拟进行了超过 100 万次。将不同 LLM 的回答与欧洲社会调查 （ESS） 的真实数据进行比较表明，提示对偏见和可变性的影响是根本性的，突出了主要的文化、年龄和性别偏见。讨论了测量 LLM 和调查数据之间差异的方法，例如计算加权平均值和受 Jaccard 相似性启发的新提议的度量。我们得出的结论是，在使用 LLM 对个人决策或集体行为进行建模之前，分析提示的稳健性和可变性很重要，因为它们的模仿能力充其量只是近似的。

1 引言

2 相关工作

3 数据和模型

4 方法

5 结果

6 结论

LLM 可以调整自己以像变色龙一样冒充人类吗？这取决于模仿的对象和给定 LLM 的能力。无论 LLM 对齐的目标和过程如何，我们的结果都反映了明显的地理不平衡：相对于其他国家的人，保加利亚人的模拟效果更差，原因还