Current Evaluation Methods are a Bottleneck in Automatic Question Generation

题目

当前的评估方法是自动问题生成的瓶颈

论文地址：https://openreview.net/pdf?id=12WFHESUjD

摘要

    本研究全面回顾了基于计算语言学技术和大型语言模型的自动问题生成 (AQG) 系统质量评估的常用评估方法。在全面概述评估方法的现状的同时，我们讨论了每种方法的优点和局限性。此外，我们阐明了在教育环境中全面整合自动问题生成系统的下一步措施，以实现有效的个性化和适应性。关键词：自动问题生成、评估方法、机器翻译、众包、人工评估者、消融研究

    开发高质量的问题一直是教育工作者面临的一大挑战，因为这一过程不仅需要内容专业知识（即领域知识），还需要评估专业知识，包括对问题的每个元素（例如问题主干、回答选项或源材料）的设计方式有扎实的理解。自动问题生成 (AQG)，也称为自动项目生成，已成为解决问题开发挑战的可行解决方案。AQG 涉及使用计算机算法自动创建测试项目、问题或评估。AQG 简化了问题生成过程，使教育工作者和评估开发人员能够在相对较短的时间内创建大量项目。这种效率降低了测试开发的总体成本，因为它最大限度地减少了传统上与创建评估相关的人工和资源需求。AQG 系统已广泛应用于在线学习平台，学生在这些平台上回答大量问题来评估他们当前的学习状态。

    随着教育评估越来越多地转向数字平台，AQG 在将技术无缝集成到评估过程中方面发挥着至关重要的作用。然而，目前的 AQG 系统无