From Individuals to Interactions: Benchmarking Gender Bias in Multimodal Large Language Models

文章主要内容和创新点

主要内容

本文聚焦多模态大型语言模型（MLLMs）中的性别偏见评估，指出现有基准多关注单一实体场景，忽略了人际互动中潜在的隐性偏见。为此，研究团队提出了一个名为GENRES的新基准，通过社会关系视角评估MLLMs在生成叙事中的性别偏见。

GENRES基于Fiske的社会关系理论（四种基本关系类型：公共共享、平等匹配、市场定价、权威排序），构建了1440个“叙事诱发对（NEPs）”，每个NEP包含文本提示和对应图像，用于引导模型生成双角色档案和互动叙事。评估框架涵盖四个维度：

1. 档案分配偏见（PAB）：人格特质（温暖度、能力）的性别差异；
2. 能动性与角色偏见（ARB）：主语占比、社会地位分配的性别差异；
3. 情感表达偏见（EEB）：情感词汇使用、句子情感倾向的性别差异；
4. 叙事框架偏见（NFB）：