72、工业文本评分的混合深度神经网络框架

工业文本评分的混合深度神经网络框架

1. 背景与动机

每年有大量学生参加像雅思这样的标准化写作测试，教师手动评分不仅主观、耗时，还容易产生偏差。这促使了自动作文评分（AES）和简答题评分（SAS）框架的广泛研究，从早期基于规则的引擎发展到如今的深度神经网络。然而，非学术领域的自动文本评分研究却十分有限。

在非学术领域，如企业年度报告的评分，需要依据监管要求对报告内容进行处理和合规性检查。全球有超过41,000家上市公司，人工评分效率低下，因此利用计算机算法进行实时评分具有重要意义。

2. 相关工作

• 自动评分流程 ：自动评分是计算机在无人工干预下对书面文章进行评估和打分的能力。典型流程为：输入响应、特征提取，然后通过分类或回归算法分配序数分数。
• 早期模型 ：最初的AES模型需要手动进行特征工程，后来被循环神经网络（RNN）和变压器等神经网络取代，这些模型在ASAP - AES基准学生作文数据集上表现出色。
  • 朴素RNN ：包含词嵌入、卷积、长短期记忆（LSTM）、池化和全连接层，初始Kappa基准为0.761。
  • 分层注意力网络 ：认为文档由句子组成，句子由单词组成，提出了在单词和文档级别使用单独卷积和循环编码器的分层注意力网络，新基准为0.764。
• 变压器模型 ：2018年BERT等变压器模型的出现超越了使用上下文无关嵌入模式