Are Large Language Models Chameleons?

本文是LLM系列文章，针对《Are Large Language Models Chameleons?》的翻译。

摘要

大型语言模型 （LLM） 有自己的世界观和个性倾向吗？要求 LLM 回答主观问题的模拟进行了超过 100 万次。将不同 LLM 的回答与欧洲社会调查 （ESS） 的真实数据进行比较表明，提示对偏见和可变性的影响是根本性的，突出了主要的文化、年龄和性别偏见。讨论了测量 LLM 和调查数据之间差异的方法，例如计算加权平均值和受 Jaccard 相似性启发的新提议的度量。我们得出的结论是，在使用 LLM 对个人决策或集体行为进行建模之前，分析提示的稳健性和可变性很重要，因为它们的模仿能力充其量只是近似的。

1 引言

2 相关工作

3 数据和模型

4 方法

5 结果

6 结论

LLM 可以调整自己以像变色龙一样冒充人类吗？这取决于模仿的对象和给定 LLM 的能力。无论 LLM 对齐的目标和过程如何，我们的结果都反映了明显的地理不平衡：相对于其他国家的人，保加利亚人的模拟效果更差，原因还有待探索。
不同的 LLM 具有不同的仿真结果，模型的参数有时起着重要作用。当然，提示中的信息及其描述方式会极大地影响 LLM 的回答，但没有明确表明什么是最佳选择。
我们提出并验证了使 LLM 响应更像人类的可能方法，例如在提示中提供其他信息。我们还提出了一个 LLM 对主观问题的回答的指标，该指标更关注分布而不是平均值，并且至关重要的是，建议与实际调查数据进行