LARGE LANGUAGE MODELS MEET USER INTERFACES: THE CASE OF PROVISIONING FEEDBACK

本文是LLM系列文章，针对《LARGE LANGUAGE MODELS MEET USER INTERFACES: THE
CASE OF PROVISIONING FEEDBACK》的翻译。

摘要

将生成人工智能（GenAI），特别是大型语言模型（LLMs）融入教育环境，为提高教育工作者的效率和丰富学生的学习体验提供了宝贵的机会。教育工作者目前使用LLM的很大一部分涉及使用会话用户界面（CUI），如聊天窗口，用于生成教育材料或向学习者提供反馈等功能。与LLM进行实时对话的能力，可以增强教育工作者在各个学科的领域知识，具有很高的价值。然而，它也对LLM的广泛、道德和有效采用提出了挑战。首先，教育工作者必须具备一定程度的专业知识，包括工具熟悉度、人工智能素养和有效使用CUI的提示，这可能是采用CUI的障碍。其次，CUI的开放式设计使其异常强大，这引发了伦理问题，尤其是在用于评分等高风险决策时。此外，还存在与隐私和知识产权相关的风险，这些风险源于潜在的未经授权的敏感信息共享。最后，CUI是为短时间、同步的交互而设计的，当被赋予复杂的、多步骤的任务时（例如，根据大规模的量规提供个人反馈），CUI往往会挣扎和产生幻觉。为了应对这些挑战，我们探讨了从通过CUI使用LLM过渡到通过API调用使用LLM的用户友好界面创建应用程序的好处。我们首先提出了一个框架，将GenAI纳入教育工具，强调以人为本的设计，在教学上合理，在道德上负责任。然后，我们说明了我们的框架在设计和实现一种名为“反馈副本”的新工具中的应用，该工具使教师能够为学生在任何规模的课堂上的作业提供个性化的定性反馈。使用338名学生的数字评分作业，从反馈副本工具的两个不同变体中生成反馈的评估证明了我们方法的可行性和有效性。我们的研究结果对GenAI应用研究人员、寻求利用可访问的GenAI工具的教育工作者以及旨在超越对话式AI界面局限性的教育技术人员具有重要意义，从而为GenAI在教育领域的未来指明了方向。