Difficulty-Controllable Multiple-Choice Question Generation Using Large Language Models and Direc...

文章总结与翻译

一、主要内容

该研究聚焦阅读理解场景下的难度可控多项选择题生成，针对传统方法无法直接生成多项选择题、难度控制准确性未被显式优化的问题，提出了一种基于大型语言模型（LLM）和直接偏好优化（DPO）技术的新方法。

1. 研究背景：自动问答生成（QG）是培养阅读理解能力的重要工具，但手动创建题目耗时费力，且现有难度可控QG方法存在生成题型局限（多为抽取式答案题目）和难度控制精度不足的问题，难以满足自适应学习、大规模考试题库构建等教育场景需求。
2. 核心方法：
   • 数据集构建：采用项目反应理论（IRT）中的拉希模型（Rasch model），通过多个不同性能的问答（QA）系统模拟学习者响应，为RACE数据集补充难度标签，构建包含（阅读篇章、题目、选项、难度）四元组的训练数据集。
   • 模型训练：以Llama 3.1为基础模型，先通过监督微调（SFT）最小化负对数似然损失，使其具备生成多项选择题的能力；再通过DPO技术显式优化难度控制准确性，构建DPO训练数据集（区分“优质输出”和“劣质输出”），解决传统方法未直接优化难度控制目标的问题。
3. 实验验证：在RACE数据集上进行多维度评估，包括难度控制准确性、能力估计的费希尔信息、题目质量（流畅性、内容相关性、可答性）、少样本学习对比及推理类型分析，验证了方法的有效性。
4. 研究结论：所提方法能成功生成难度可控的多项选择题，DPO技术可显著提