Beyond Sociodemographic Prompting: Using Supervision to Align LLMs with Human Response Distributions

文章主要内容总结

本文聚焦于如何让大型语言模型（LLMs）更精准地模拟不同人群对主观问题的回答分布，核心研究如下：

1. 研究背景：现有利用社会人口统计学（SD）提示（如指定年龄、性别等）让LLMs模拟特定人群回答的方法存在局限，例如忽略群体内部的意见分歧、容易导致刻板印象，且效果受模型、数据集等因素影响较大。

2. 研究方法：

   • 采用分布对齐视角，而非单一答案模拟，通过三种分布提取方法（verbalized直接生成分布、self-random多次采样单答案、paraphrase通过不同表述采样）从LLMs中获取回答分布。
   • 提出监督校准方法：使用线性回归或随机森林等模型，基于少量人类标注数据调整LLMs生成的分布，使其更接近真实人群的回答分布。
   • 在三个数据集（WGM、OQA、WVS）上评估15种不同类型的LLMs，涵盖开源、闭源等，验证方法的通用性。

3. 核心发现：

   • 基线SD提示的效果不稳定，受模型、数据集和提取方法影响；
   • 监督校准能使对齐度平均提升16.3%，且在94.8%的场景中有效；
   • 仅需5个标注样本即可实现接近最优的校准效果；
   • 校准对不同人群的效果存在差异，但能降低不同场景下的方差。

4. 实践意义