68、基于项目反应理论的鲁棒神经自动作文评分

基于项目反应理论的鲁棒神经自动作文评分

1. 引言

在各类评估领域，作文写作测试备受关注，它能衡量考生的逻辑思维、批判性推理和创造性思维等实用及高阶能力。在这类测试中，考生围绕给定主题撰写作文，人工评分员依据评分标准进行打分。然而，当考生众多时，评分过程既昂贵又耗时。而且，即便使用评分标准，人工评分也并非总是足够准确，因为所给分数很大程度上取决于评分员的严格程度和不一致性等特征。

自动作文评分（AES）利用自然语言处理（NLP）和机器学习技术自动为作文打分，是解决这一问题的一种途径。过去几十年里，许多AES方法被开发出来，大致可分为特征工程和自动特征提取两种方法。

特征工程方法使用手动调整的特征（如作文长度和拼写错误数量）来预测分数，其优点是具有可解释性，但通常需要大量的特征重新设计才能实现较高的预测准确性。为避免特征工程，基于深度神经网络（DNN）的自动特征提取方法近年来受到关注。许多DNN - AES模型在过去几年中被提出，并取得了最先进的准确性。但这种方法需要大量人工评分的作文数据集作为训练数据。

由于作文评分任务通常由多个评分员分担，每个作文由少数评分员打分，导致分配的分数存在强烈的评分员偏差。当使用有偏差的数据进行模型训练时，DNN模型的性能会迅速下降。在教育和心理测量领域，最近提出了项目反应理论（IRT）模型，该模型可以在考虑评分员特征影响的情况下估计作文分数。本研究提出了一个新的DNN - AES框架，将IRT模型集成到训练数据中以处理评分员偏差。

2. 数据

假设训练数据集由J个考生撰写的作文和R个评分员给出的作文分数组成。设$e_j$是考生$j$（$j \in J = {1, \cdots, J}$