【ICLR 2021】TOWARDS ROBUSTNESS AGAINST NATURAL LANGUAGE WORD SUBSTITUTIONS 阅读笔记

【ICLR 2021】TOWARDS ROBUSTNESS AGAINST NATURAL LANGUAGE WORD SUBSTITUTIONS

鲁棒性对抗自然语言词替换

原文链接：https://openreview.net/pdf?id=ks5nebunVn_

依旧是一篇对抗”词替换”噪声的鲁棒性文章。本文提出模型：一种新的对抗性稀疏凸空间结合(ASCC)方法，文章主要分为三部分：

1. 该文章将词替换攻击空间建模为凸空间，这使得模型可以更好的捕捉向量空间的替换词：
   
   左为本文方法，右1.2分别为l2-ball，轴对齐边界

2. 在凸空间基于梯度进行生成对抗，并利用正则化对替换词扰动，从而使我们的建模与离散文本空间对齐，具体如下图step1：
   

3. 基于ASCC方法，我们进一步提出了ASCC-防御，它利用ASCC产生最坏情况下的扰动 r，并最小化 r 所关联的梯度L，来完成上图step2的鲁棒性训练

个人总结： 这篇思路与第一篇相似，都是为了更好的适应对抗，但处理方法不同。第一篇是抵消噪声，并分有噪声无噪声两种情况处理。本篇亮点在于输入时先将噪声空间对齐在凸空间，更好的捕捉噪声，以构建足够大的扰动集，并且凸空间有利于对抗生成。但之后与添加扰动的方法，对抗性鲁棒训练并没有太多亮点。