69、基于项目反应理论的鲁棒神经自动作文评分及中文语言学习评估支持

基于项目反应理论的鲁棒神经自动作文评分及中文语言学习评估支持

在教育领域，自动作文评分（AES）和语言学习评估一直是重要的研究方向。自动作文评分能够提高评分效率，而语言学习评估则有助于教师更准确地了解学生的语言能力。本文将介绍基于项目反应理论（IRT）的鲁棒神经自动作文评分方法，以及利用文本和声调特征支持中文语言学习教师评估的相关研究。

基于IRT的鲁棒神经自动作文评分

传统的深度神经网络自动作文评分（DNN - AES）模型的性能在很大程度上依赖于训练数据中评分者的特征。为了解决这个问题，研究人员提出了一种新的DNN - AES框架，该框架集成了IRT模型。

方法概述

在测试阶段，新作文 $e_{j}’$ 的分数预测分为两个步骤：
1. 从训练好的AES模型中预测IRT分数 $\theta_{j}’$，并将其重新缩放到范围 $[-3, 3]$。
2. 计算预期分数 $\hat{U} {j}’$，其对应于 $e {j}’$ 的无偏原始缩放分数，计算公式为：
$\hat{U} {j}’ = \frac{1}{R} \sum {r = 1}^{R} \sum_{k = 1}^{K} k \cdot P_{j’rk}$

实验部分

• 实际数据 ：实验使用了自动学生评估奖（ASAP）数据集，该数据集包含8个主题的作文，由7至10年级的学生撰写。但由于该数据集没有评分者标识符，研究人员招募了38名以英语为母语的评分者，对第五个主题的作文进行评分。每个作文分配4名评分者，每个评分者大约评195篇作文。评估