Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions

论文《Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions》总结与翻译

一、文章主要内容

（一）研究背景与问题

大语言模型（LLM）规模扩大虽带来涌现能力，但也增加了计算资源消耗，模型剪枝（post-training pruning）成为降低模型规模与计算需求的重要手段。然而，现有研究多关注剪枝对模型性能的影响，却忽略了其对公平性的作用——尤其在观点摘要任务中，有偏输出可能影响公众认知。此外，训练数据中的社会偏见会传递到LLM及下游任务，而剪枝中使用的校准集（calibration set）对公平性的影响也未被探索。

（二）研究设计

1. 实验基础
   • 模型：3个开源LLM（TinyLlama、Gemma、Llama 3），覆盖1.1B-8B参数规模，包含基础模型与指令微调模型。
   • 剪枝方法：对比4种主流剪枝方法（Magnitude、SparseGPT、Wanda、GBLM-Pruner），并提出新方法HGLA。
   • 校准集：构建6类校准集（单立场输入