24、自动简答题评分系统的漏洞与挑战

自动简答题评分系统的漏洞与挑战

1. 引言

自动简答题评分系统旨在高效、客观地评估学生的答案。然而，这些系统可能存在漏洞，容易受到对抗攻击的影响。本文将深入探讨自动简答题评分系统的相关内容，包括对抗攻击的类型、系统的评分方法、模型的复现、通用触发攻击以及实验结果等。

2. 对抗攻击与自动简答题评分概述

2.1 自然语言处理中的对抗攻击

对抗攻击可分为输入依赖攻击和输入独立攻击：
- 输入依赖攻击 ：旨在修改特定输入，使模型误分类。常见方式包括策略性地插入、删除或替换单词，如用同义词、嵌入空间中的近邻词或高概率出现在相同语境中的词替换；还可在字符层面插入噪声，如交换相邻字符或打乱单词；也可对文本进行释义以改变句法结构。
- 输入独立攻击 ：试图找到能使所有样本误分类的扰动。例如，在嵌入空间中选择单个扰动并应用于所有标记；或者先对特定输入进行释义以找到语义等价的对抗样本，再将其推广为通用的语义等价对抗规则，规则需经人工审核。另一种输入独立方法是在每个输入样本开头连接一系列对抗性单词（触发词），本文采用的通用触发攻击就属于此类。

攻击类型	特点	示例
输入依赖攻击	修改特定输入使模型误分类	插入、删除或替换单词，字符层面插入噪声，文本释义