Seaern的博客

我们提出视觉提示调整（VPT）来适应大型预先训练的视觉转换器模型。VPT将少量可学习的参数注入transformers的输入空间，并在下游训练阶段保持主干冻结。整体框架如图（a）为每个变压器-编码器层的输入（VPT-deep）预先设置一组可学习的参数；（b） 仅将提示参数插入第一层的输入（VPTshallow）。在下游任务的培训过程中，只有提示和线性头的参数会更新，而整个变压器编码器会被冻结。...

词级生成现有的词级攻击主要基于从一些预先给定的候选词集中搜索替换词。我们的生成攻击方法会提示PLM在恶意触发文本的影响下修改原始输入中的某些单词。与这些基于搜索的攻击不同，我们的方法不从给定的集合中选择替换，而是在给定的上下文中生成替换。因此，它可以生成更丰富、更流畅的句子。PAT包括两个主要步骤：即时构建和候选生成。我们提出了一种变体提示构造方法，该方法包含两个主要步骤：屏蔽x中的某些位置以获得x0，以及将x0与恶意触发器连接。为了引导掩码填充过程改变下游模型的预测，应该设计一个触发器，它是包..

论文链接https://arxiv.org/pdf/2201.08531.pdf