文章核心内容、创新点总结及关键部分翻译
一、主要内容总结
该研究聚焦K-12教育中基于语言模型的自动题目生成(AIG),旨在解决人工出卷成本高、一致性差的问题,具体围绕形态学评估的多项选择题(MCQs)生成展开,核心内容如下:
- 研究设计:采用双维度研究思路。一是模型对比,将微调后的中型模型Gemma(2B参数)与未微调的大型模型GPT-3.5(175B参数)进行性能比较;二是提示策略评估,测试零样本、少样本、思维链(CoT)、基于角色、序列式及混合策略等7种结构化提示方法的效果。
- 数据集与评估体系:使用包含268道来自WordChomp诊断性评估的MCQs作为数据集,覆盖3-5年级形态学技能,涉及13种题型与不同难度等级。评估从自动指标(语法、复杂度、可读性、流畅度)、专家评分(5个维度:指令清晰度、答案准确性、干扰项质量、词汇难度、任务难度)及GPT-4.1模拟专家评分(基于专家标注样本训练)三方面展开。
- 关键结果:结构化提示策略(尤其思维链与序列式设计结合的策略)显著提升Gemma的输出质量;在零样本场景下,Gemma生成的题目在结构一致性和教学适用性上整体优于GPT-3.5;提示设计对中型模型性能起关键作用,且在数据有限情况下,结构化提示与高效微调能增强中型模型的AIG能力。
- 研究局限:数据集规模小(仅268题),可能无法涵盖K-12形态学所有细微差异;评估未完全覆盖K-12所有读写技能;提示工程依赖专业知识,设计不当会影响生成可靠性;自动指
订阅专栏 解锁全文
2476



被折叠的 条评论
为什么被折叠?



