Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models

本文是LLM系列文章，针对《Born With a Silver Spoon? Investigating Socioeconomic Bias in Large Language Models》的翻译。

摘要

社会中的社会经济偏见加剧了差距，影响了基于个人经济和社会背景获得机会和资源的机会。这一普遍存在的问题使系统性不平等现象长期存在，阻碍了社会追求包容性进步。在这篇论文中，我们调查了在大型语言模型中存在的社会经济偏见（如果有的话）。为此，我们引入了一个新的数据集SILVERSPOON，由3000个样本组成，这些样本说明了一些假设场景，这些场景涉及弱势群体因其环境而采取道德模糊的行为，并询问这种行为是否在道德上合理。此外，该数据集具有双重标签方案，并由社会经济光谱两端的人进行了注释。使用SILVERSPOON，我们评估了大型语言模型中表达的社会经济偏见的程度，以及这种程度作为模型大小的函数的变化。我们还进行了定性分析，以分析这种偏见的性质。我们的分析表明，尽管人类在哪些情况下需要对弱势群体感同身受上存在分歧，但大多数大型语言模型都无法在任何情况下对社会经济弱势群体产生同情。为了促进这一领域的进一步研究，我们公开了SILVERSPOON和我们的评估工具。

1 引言

2 SILVERSPOON数据集

3 研究设计

4 结果

5 讨论

6 结论

在本文中，我们介绍了SILVERSPOON，这是第一个具有双标签注释的数据集，旨在帮助调查SoTA LLM中社会经济偏见的存在，以及他们在困难情况下同情社会经济弱势群体的能力。此外，我们对SOTA L