Modifying Large Language Model Post-Training for Diverse Creative Writing

文章总结

主要内容

本文针对大型语言模型（LLM）在创意写作任务中输出多样性不足的问题，提出了通过后训练（post-training）方法同时提升生成质量和多样性的解决方案。传统的后训练方法（如DPO、ORPO）虽然能提高生成质量，但会显著降低多样性。作者引入偏差（deviation）概念，即同一提示下训练样本与其他样本的差异程度，并将其整合到训练目标中，形成了多样化DPO（DDPO）和多样化ORPO（DORPO）。实验表明，这些方法在保持质量的同时，使模型输出多样性接近人类创作数据集，且优于现有指令调优模型（如GPT-4o、DeepSeek-R1）。

创新点

1. 偏差整合训练目标：首次将“偏差”作为训练目标的一部分，通过加权损失函数强调罕见高质量样本的学习。
2. 多样化后训练方法：改进DPO和ORPO，提出DDPO和DORPO，平衡质量与多样性。
3. 多维度验证：通过自动评估、人类评估、消融实验和与DivPO的对比，验证方法的有效性。
4. 鲁棒性与扩展性：在不同数据集规模下保持稳定性能，适用于数据稀缺场景