25、描述性作业自动评分的文本摘要混合方法

描述性作业自动评分的文本摘要混合方法

1. 引言

自然语言处理（NLP）运用算法对人类语言进行解释和处理。除了医疗保健、物联网、通信系统、安全等重要应用外，它也是机器学习中最常用的领域之一。随着人工智能的持续发展，专业人员需要开发能够分析语音和词汇、发现上下文趋势，并生成文本和音频见解的模型。

作业和课堂评估是学生形成性评估的重要组成部分。随着在线学习系统的迅速发展，开展小型评估和作业对于积极吸引学生参与学习至关重要。然而，教师手动批改所有作业不仅耗时、繁琐，还容易出错，有时结果也会因不同的评判标准而有所差异。目前，虽然有许多关于自动评估和评分编程作业的研究，但对于能够独立于领域的描述性段落写作作业的评分方案却不多，因此解决这一问题的需求日益增长。

本文基于NLP的文本摘要技术对描述性作业进行自动评分。具体来说，采用了快速自动关键词提取（RAKE）算法和面向召回率的摘要评估（ROUGE）算法的组合（即RAKE - ROUGE算法）来提取文档中的关键短语并自动评分。同时，还增加了抄袭检测模块和同行评审模块。抄袭检测模块使用多种文本相似度度量来确定作业之间的抄袭情况，通过计算余弦距离、杰卡德距离和皮尔逊相关系数的加权平均值（其中余弦距离权重更大）来实现。同行评审模块则允许随机分配学生作业给同伴进行评估，这也有助于验证RAKE - ROUGE方法生成的分数与人工评估的一致性。

2. 文献综述

• 现有评估系统 ：Shehab等人提出的系统用于评估曼苏拉大学学生的论文，该系统包含基于神经网络的评分引擎和一套评估功能，前者依赖预评分论文数据集进行比较评分，后者使用NLP工具确定语法错误、用词准确性等