Modifying Large Language Model Post-Training for Diverse Creative Writing

文章总结

主要内容

本文针对大型语言模型（LLMs）在创意写作任务中生成多样性不足的问题，提出了通过后训练优化提升输出多样性的方法。研究发现，现有后训练方法（如DPO、ORPO）在提升生成质量的同时，往往导致多样性下降。作者提出在训练目标中引入偏差（deviation）指标，即计算同一提示下训练样本与其他样本的差异程度，以鼓励模型学习罕见但高质量的生成模式。通过扩展DPO和ORPO，提出了DDPO（Diversified DPO）和DORPO（Diversified ORPO），并通过实验验证了这些方法在保持生成质量的同时显著提高了语义和风格多样性。最佳模型（基于Llama-3.1-8B）在多样性上与人类创作数据集相当，质量接近GPT-4o和DeepSeek-R1等先进模型。

创新点

1. 偏差驱动的训练目标：将样本与同提示下其他样本的差异（偏差）作为权重纳入损失函数，促使模型关注罕见高质量实例。
2. 多样化后训练方法：提出DDPO和DORPO，通过加权策略优化DPO和ORPO，平衡质量与多样性。
3. 系统性验证：通过自动评估、人类评估、消融实验及与DivP