Integrating gender inclusivity into large language models via instruction tuning

文章总结与翻译

一、文章主要内容

该研究聚焦波兰语等存在语法性别的语言中，大型语言模型（LLMs）因训练数据偏向阳性表达而产生性别偏见的问题，旨在通过指令微调将性别包容性融入LLMs，以缓解波兰语生成中的性别偏见。

核心背景

• 波兰语等斯拉夫语族、罗曼语族语言存在阳性、阴性、中性三种语法性别，受历史和政治传统影响，阳性形式常被用于指代男性、女性及混合性别群体，形成不公平的语言体系。
• 基于标准文本训练的LLMs会继承并强化这种阳性偏见，生成性别失衡的输出，而现有研究多基于英语，对这类语法性别语言的性别偏见关注不足。

研究方法

1. 构建数据集：创建人类编写的“包容性波兰语指令集（IPIS）”，包含波兰语性别包容性校对指令和波兰语↔英语性别敏感翻译指令，涵盖法律文件、新闻、议会辩论等多种文本类型，分为训练集、验证集和测试集。
2. 设计系统提示：基于语言学理论框架，设计包含波兰语和英语两种版本的系统提示，明确性别包容性准则，为LLMs分配“编辑角色”，指导其遵循语法一致规则生成性别包容性文本。
3. 模型微调与实验：采用低秩适应（LoRA）参数高效微调方法，对多语言LLMs（Llama-8B、Mistral-7B、Mistral-Nemo）和波兰语专用LLMs（Bielik、PLLuM）进行IPIS微调，评估性别包容性校对和性别敏感翻译两项任务的性能。