A Prompting-based Approach for Adversarial Example Generation andRobustness Enhancement

原创 已于 2023-07-16 16:54:31 修改 · 171 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#对抗样本 #人工智能 #自然语言处理

于 2023-07-16 16:53:17 首次发布
文章介绍了一种新的词级攻击策略，区别于基于候选词集的搜索方法，它利用预训练语言模型(PLM)在特定上下文中生成替换词，通过恶意触发器影响模型预测，创建更自然的攻击文本。该方法包括即时构建和候选生成两个步骤，其中触发器设计是关键，用于引导掩码填充过程改变模型的行为。

词级生成

现有的词级攻击主要基于从一些预先给定的候选词集中搜索替换词。我们的生成攻击方法会提示PLM在恶意触发文本的影响下修改原始输入中的某些单词。与这些基于搜索的攻击不同，我们的方法不从给定的集合中选择替换，而是在给定的上下文中生成替换。因此，它可以生成更丰富、更流畅的句子。PAT包括两个主要步骤：即时构建和候选生成。

我们提出了一种变体提示构造方法，该方法包含两个主要步骤：屏蔽x中的某些位置以获得x0，以及将x0与恶意触发器连接。为了引导掩码填充过程改变下游模型的预测，应该设计一个触发器，它是包含攻击者恶意目的的附加文本。这种触发器可能与标签有关。给出一个普通示例x，这两个步骤可以简单地写为：

【CVPR2022】论文列表与下载——PartFour
TomRen
06-12 3443
【CVPR2022】完整论文列表
ICCV2017论文摘要汇总
super_chicken的博客
04-18 7431
1. Globally-Optimal Inlier Set Maximisation for Simultaneous Camera Pose and Feature Correspondence Abstract: Estimating the 6-DoF pose of a camera from a single image relative to a pre-computed 3D p...
论文解读 | CVPR2024：想提升视觉语言模型的对抗鲁棒性？一个提示词够了！
AITIME_HY的博客
06-06 1794
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！概述 最近的研究表明CLIP、BLIP等一众大型预训练视觉语言模型 (VLMs) 十分容易被对抗样本（adversarial examples）诱导从而产生错误的、有害的输出，例如反社会的言论和钓鱼网站链接。这一发现引起了人们对于那些部署在现实世界中的视觉语言模型的安全性和可信赖程度的担忧。为了解决这一问题，本文从提示词（prompt）这一...
Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-03 8368
​ Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读 目录 Paper：《Pre-trained Models for Natural Language Processing: A Survey自然语言处理的预训练模型综述》翻译与解读 Abstract 1、Introduction 2、Background 3 Overview of PTMs—PT
ACL 2022 主会长文论文分类整理
zenRRan的博客
04-21 3423
每天给你送来NLP技术干货！作者｜蒋锦昊机构｜中国人民大学高瓴人工智能学院方向 | 自然语言处理 来自 | RUC AI Box本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），以供参考。导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language P...
总结 | ACL2022主会论文分类整理
04-25 1万+
大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari
An Introduction to Diffusion Models and Stable Diffusion
bbbeoy的专栏
08-21 930
theTtt+1βₜt-1t. APfromQt,Encoder Ett-1。
插件8：拼写检查
热门推荐
dearbaba_1666的博客
06-27 16万+
<?php // Plug-in 8: Spell Check // This is an executable example with additional code supplie
【论文阅读笔记】Decomposition-Based Approach for Model-Based Test Generation
自用博客
05-10 423
具体是给一个测试谓词，用检查器来监测陷阱属性，如果属性为false，证明测试谓词可行，返回的反例是覆盖测试谓词的测试，如果属性为true，说明不可行，没有可以覆盖它的测试，如果在没提供任何结果的情况下终止，就是状态爆炸了，用户不知道测试谓词能不能被覆盖。但是时间的减少取决于模型的大小，下图是每个模型生成时间的百分比变化，模型的排序是按大小也就是状态数递增排的，StrongTP和WeakTP可以减少大模型的生成速度，但是会增加小模型的生成速度，因为模型小的时候分解的开销是大于收益的。Θ是变量的初始状态。
Complexity-Based Prompting for Multi-Step Reasoning.pdf
05-18
Complexity-Based Prompting for Multi-Step Reasoning 本文研究了prompting large-scale language models来执行multi-step reasoning的任务。已有的工作表明，当使用chain of thoughts（CoT）prompt large ...
可控文本生成系列-A Survey of Controllable Text Generation using Transformer-based Pre-trained
yaohaishen的专栏
07-20 8530
ControlableTextGeneration，可控制的文本生成，就是能够在传统的文本生成的基础上，增加对生成文本一些属性、风格、关键信息等等的控制，从而使得生成的文本符合我们的某种预期。如果给一个明确的定义的话，文中引用了另一篇更早的综述的定义论文中给出了两个简单的例子第一个例子就是给定一个故事线，要求模型按照这样的思路去生成。第二个例子是关于传统人机对话中如果机器生成文本时不受控制可能带来的问题，比如会给出有害的建议，甚至说脏话，这个时候就需要我们在模型生成的时候加以控制。.............
Revisiting Transformer for Point Cloud-based 3D Scene Graph Generation 学习笔记
weixin_43508459的博客
08-12 909
提出了一个semantic graph Transformer （SGT），目标是将点云场景变成一个目标结构图。目前基于GCN的场景图生成模型面临：1. GCN固有困境之过渡平滑。2. 只能从有限的邻接节点传播信息。因此该模型采用Transformer-based的网络来获取全局信息。具体来看，该模型包含了两个Transformer层：1. 提出了一个图嵌入层，来更好的。2. 提出了一个语义注入层，来利用文本标签和视觉对象知识。
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
一颗优雅草科技-央千澈的优快云博客~只想无穷无尽的学习~作息早8-晚8
12-11 1754
​如何用AI处理音乐音频消除作品信息里的 AI 痕迹-程序员音乐人卓伊凡
以太联的自愈功能与看门狗机制解析
最新发布
suzhou_speeder的博客
12-15 886
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
精品数据分享 | 锂电池数据集（七）同济大学电池数据集
12-11 1403
本期继续分享一篇Nature communicationTop论文公开锂离子电池数据，划重点-数据集开源，代码开源！！！
Transformer架构的原理是什么？
SACKings的博客
12-15 697
对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 927
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
vLLM推理引擎教程4-离线推理功能
benben044的专栏
12-12 1039
本文介绍了使用vLLM框架优化推理性能的多种方法。主要内容包括：1）基础文本生成、对话式推理、文本分类和嵌入提取四种任务的基本实现；2）自动前缀缓存功能，通过共享KV缓存加速长上下文处理；3）使用YARN方法扩展模型上下文长度；4）多模态任务处理示例（Whisper语音识别）；5）底层LLMEngine API的使用。文章通过具体代码示例展示了如何设置参数实现各类推理优化，包括温度调节、top-p采样、缓存复用等技巧，适用于文本生成、分类、嵌入等多种NLP任务场景。
MOKA: Open-World Robotic Manipulation through Mark-Based Visual Prompting
03-08
### MOKA 开放世界机器人操作概述 MOKA 是一种创新性的框架，旨在使机器人能够在开放环境中执行复杂的操纵任务。该框架利用基于标记的视觉提示技术来指导机器人的动作[^1]。 #### 基于标记的视觉提示机制 为了实现在未知环境下的有效交互，MOKA 使用特定设计的视觉标记作为引导信号。这些标记被放置在目标物体周围或表面上，提供给机器人清晰可见的位置指示和操作指令。当摄像头捕捉到带有编码信息的图像时，算法会解析其中蕴含的数据并转换成具体的运动命令。这种方法不仅提高了识别精度，而且简化了训练模型所需的数据集构建过程。 ```python def parse_visual_prompt(image): """ 解析来自图像中的视觉标记，并返回相应的操作指令。 参数: image (numpy.ndarray): 输入RGB图像 返回: dict: 包含位置和其他必要参数的操作指令字典 """ markers = detect_markers_in_image(image) instructions = {} for marker_id, position in markers.items(): instruction = decode_marker(marker_id) instructions.update({ 'position': position, **instruction }) return instructions ``` #### 实现细节与优势 - **鲁棒性**: 即便是在光照变化较大或者存在遮挡的情况下，精心设计的标记依然能够保持较高的检测成功率； - **灵活性**: 可以轻松调整不同场景下的需求，只需改变所使用的标记样式即可适应新的应用场合； - **效率高**: 减少了对大规模标注数据的需求，在一定程度上降低了开发成本和技术门槛； 通过上述方式，MOKA 成功实现了让机器人理解复杂多变的真实世界的潜力，为自动化领域带来了全新的可能性。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值