2025_NIPS_A Unified Debiasing Approach for Vision-Language Models across Modalities and Tasks

文章总结与翻译

一、主要内容

该研究聚焦视觉语言模型（VLMs）中的偏见问题，提出了一种名为选择性特征填充去偏（SFID）的统一去偏方法。VLMs虽在零样本分类、文本到图像检索、图像描述生成、文本到图像生成等多模态任务中表现突出，但常存在性别、种族等社会刻板印象偏见，且现有去偏方法多局限于特定模态或任务，还需大量重新训练。

SFID整合特征剪枝与低置信度填充（LCI），通过随机森林（RandomForest）识别偏见相关特征，并用验证集中低置信度样本的特征均值替换这些偏见特征，既保留输出的语义完整性，又无需重新训练，成本高效。实验在CLIP、XVLM、BLIP等多种模型及多个数据集上验证，结果表明SFID在显著降低偏见的同时，未损害模型性能，还可扩展至多敏感属性场景，适用于编码器、解码器等VLM不同组件。

二、创新点

1. 通用性强：突破现有方法局限，可无缝集成到VLM的编码器、解码器等多个组件，适用于零样本分类、图像检索、图像描述、文本到图像生成等多种下游任务，实现跨模态、跨任务的统一去偏。
2. 语义完整性保留：采用低置信度填充策略，用分布内的模糊特征替换偏见特征，避免了零值填充或高斯噪声填充导致的语义失真，维持了表示的维度和语义含义。
3. 高效低成本：无需对预训练VLM进行昂贵的重新训练，仅利用含敏感属性的单模态数据集（如图像数据集FairFace、文本数据集Bias-in-Bios）即可完成去偏，且随机森林无需复杂超参数调优，计算效率高。