Seaern的博客

虽然视觉-语言预训练模型(VLP)在各种视觉-语言(V+L)任务上表现出革命性的改进，但关于其对抗鲁棒性的研究在很大程度上仍未被探索。本文研究了常用VLP模型和V+L任务的对抗性攻击。首先，我们分析了不同设置下对抗性攻击的性能。通过研究不同扰动对象和攻击目标的影响，我们总结出一些关键的观察结果，作为设计强健多模态对抗性攻击和构建鲁棒VLP模型的指导。其次，我们在VLP模型上提出了一种新的多模态攻击方法，称为协同多模态对抗攻击(Co-Attack)，它共同对图像模态和文本模态进行攻击。

动机：数据到文本这个领域依然有很多挑战：首先，它们采用扁平的数据本体结构，例如数据记录的槽值对或者表格的扁平形式。这种扁平化的结构不足以在结构化数据的本体中编码丰富的语义关系，尤其是表，这些语义关系可以利用这些语义知识进一步改进表的表示。 其次，一些数据集只关注少量的领域或知识图，因此提供有限数量的谓词和数据本体。此外，由于任务的性质和自动生成过程的原因，其中一些算法在数据输入和句子之间只存在松散的对齐。为了解决这些问题，我们提出了structured DAta-Record-to-Text（DAR

我们提出视觉提示调整（VPT）来适应大型预先训练的视觉转换器模型。VPT将少量可学习的参数注入transformers的输入空间，并在下游训练阶段保持主干冻结。整体框架如图（a）为每个变压器-编码器层的输入（VPT-deep）预先设置一组可学习的参数；（b） 仅将提示参数插入第一层的输入（VPTshallow）。在下游任务的培训过程中，只有提示和线性头的参数会更新，而整个变压器编码器会被冻结。...

词级生成现有的词级攻击主要基于从一些预先给定的候选词集中搜索替换词。我们的生成攻击方法会提示PLM在恶意触发文本的影响下修改原始输入中的某些单词。与这些基于搜索的攻击不同，我们的方法不从给定的集合中选择替换，而是在给定的上下文中生成替换。因此，它可以生成更丰富、更流畅的句子。PAT包括两个主要步骤：即时构建和候选生成。我们提出了一种变体提示构造方法，该方法包含两个主要步骤：屏蔽x中的某些位置以获得x0，以及将x0与恶意触发器连接。为了引导掩码填充过程改变下游模型的预测，应该设计一个触发器，它是包..

NLP论文学习之 TextShield: Robust Text Classification Based on Multimodal Embedding and Neural Machine TranslationNLP一文看懂NLPNLP~NLU+NLG语料预处理---》设计模型---》训练模型NLU:自然语言理解 意图识别 实体提取 实现方式：基于规则，基于统计，基于深度学习NLG：自然语言生成非语言格式的数据转换成人类可以理解的语...