53、文本对抗攻击算法与互补标签学习的研究进展

文本对抗攻击算法与互补标签学习的研究进展

在自然语言处理（NLP）领域，文本对抗攻击和互补标签学习是两个重要的研究方向。文本对抗攻击旨在生成能够误导模型的对抗样本，而互补标签学习则是在仅有互补标签的情况下学习多类分类器。下面将详细介绍这两个方向的相关研究。

一、BeamAttack：高效的文本对抗攻击算法

BeamAttack是一种用于生成高质量文本对抗样本的算法。它充分利用词嵌入空间和BERT来生成替换词，并通过微调的束搜索来扩展搜索空间。

（一）算法原理

BeamAttack的核心思想是通过迭代替换原始文本中的单词，生成具有最大概率差异的对抗样本。具体步骤如下：
1. 初始化 ：将原始文本 $X$ 作为初始对抗样本 $X_{adv}$。
2. 计算重要性得分 ：对原始文本中的每个单词 $x_i$，通过特定公式计算其重要性得分 $I(x_i)$，并对单词按重要性得分进行排序。
3. 生成候选集 ：将每个单词 $x_i$ 替换为 [MASK]，从BERT和词嵌入空间生成候选集 $C(x_i)$，并通过词性过滤（POSFilter）和通用句子编码器过滤（USEFilter）对候选集进行筛选。
4. 迭代生成对抗样本 ：
- 对于当前的对抗样本集合 $set(X_{adv})$ 中的每个样本，用候选集 $C(x_i)$ 中的单词替换 $x_i$，生成新的对抗样本 $X’ {adv}$，并将其添加到 $set(X {adv})$ 中。