Many-shot Jailbreaking

已于 2024-05-16 19:11:01 修改
阅读量125 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Daily LLM Security and Privacy 文章标签： 网络 安全 语言模型 自然语言处理
于 2024-05-10 16:20:02 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/138670864
本文探讨了针对大型语言模型的长上下文攻击，即Many-shot Jailbreaking（MSJ），在Anthropic、OpenAI和Google DeepMind的最新模型中发现了其有效性。攻击效果遵循幂律，且在多种先进模型和任务中成功。研究表明，长上下文为LLM带来了新的安全挑战。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本文是LLM系列文章，针对《Many-shot Jailbreaking》的翻译。

多样本越狱

摘要

我们调查了一系列对大型语言模型的简单长上下文攻击：数百次不良行为的演示。这在Anthropic、OpenAI和Google DeepMind最近部署的更大上下文窗口中是新可行的。我们发现，在不同的现实情况下，这种攻击的有效性遵循幂律，多达数百次。我们在最广泛使用的最先进的闭合重量模型上以及在各种任务中展示了这种攻击的成功。我们的研究结果表明，很长的上下文为LLM提供了一个丰富的新攻击面。

1 引言

2 攻击设置

3 MSJ的实证有效性

4 MSJ的扩张定律

5 了解针对MSJ的缓解措施

6 相关工作

7 HarmBench上的独立复制

8 结论

长上下文代表了控制LLM斗争的一条新战线。我们探索了一系列新的攻击，这些攻击由于上下文长度较长以及候选缓解措施而变得可行。我们发现，攻击的有效性，以及更普遍的上下文学习的有效性可以用简单的幂律来表征。与测量成功频率的标准方法相比&#x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
LLM之提示词工程
qq_52053775的博客
08-05 294
提示工程作为一门新兴的学科，专注于开发和优化提示技术，旨在提升语言模型（LMs）在各种应用与研究主题中的效能。掌握提示工程技能对于深入理解大型语言模型（LLMs）的潜力与局限至关重要。研究人员借助提示工程，致力于增强LLM在广泛且复杂的任务（如问答系统与算术推理）中的表现。而对于开发人员而言，提示工程则成为设计高效、强大提示技术的关键，这些技术能够无缝对接LLM与其他工具，实现功能的最大化利用。值得注意的是，提示工程远不止于简单的提示设计与开发。
大语言模型（LLM）漏洞爆发，AI模型无一幸免
FreeBuf_的博客
04-22 1750
人工智能初创公司Anthropic所发现的这种技术被称为Many-shot Jailbreaking（多轮越狱），这种技术在Anthropic自己的模型以及其他人工智能公司生产的模型上都是有效的，其中包括OpenAI、Google DeepMind 等其他AI公司的模型，例如Claude 2.0、GPT-3.5 和 GPT-4 、Llama 2 (70B) 和 Mistral 7B 等。
【AI Many-Shot-Jailbreaking】上下文窗口越大越危险
从零开始学AI的博客
04-03 1537
Anthropic调查了一种名为“许多次破解监狱”的技术，这种方法可以用来规避大型语言模型开发者设置的安全防护措施。本文讨论了这一技术的工作原理、影响以及缓解方法
扩散模型~合集3
whaosoft143ai的博客
04-23 718
随着图像生成扩散模型的研究和应用不断增长，对这些模型输出的可解释性进行更深入的研究变得尤为重要。本文提出的语义一致性分数为图像生成的一致性提供了一个量化工具，这有助于评估特定任务的模型架构，并为选择合适的模型提供了参考依据。本文提出的语义一致性分数为图像生成的一致性提供了一个量化工具，这有助于评估特定任务的模型架构，并为选择合适的模型提供了参考依据。作者提出的量化生成模型输出一致性的概念，不仅适用于图像生成，也可以扩展到其他领域，如生成文本、音频或者视频输出的一致性评估，这将为生成模型的发展带来新的机遇。
LLMs之ICL：《Bayesian scaling laws for in-context learning》翻译与解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
12-10 1745
​ LLMs之ICL：《Bayesian scaling laws for in-context learning》翻译与解读 目录 《Bayesian scaling laws for in-context learning》翻译与解读 Abstract 1、Introduction 7、Conclusion 《Bayesian scaling laws for in-context learning》翻译与解读 地址 论文地址：https://a
全新通用 AI jailbreak粉碎了 GPT4、Claude、Gemini、LLaMA
klam2020的博客
04-08 2015
我们研究了一种“越狱”技术——一种可以用来逃避大型语言模型（LLMs）开发人员设置的安全护栏的方法。这项我们称之为“多次越狱”的技术对 Anthropic 自己的模型以及其他人工智能公司生产的模型都有效。我们提前向其他人工智能开发人员通报了此漏洞，并已在我们的系统上实施了缓解措施。该技术利用了去年急剧增长LLMs的一个功能：上下文窗口。2023 年初，上下文窗口（LLMs可以作为其输入处理的信息量）约为一篇长论文的大小（约 4,000 个令牌）。
LLMs 如何处理相互矛盾的指令？指令遵循优先级实验
Baihai_IDP的博客
11-13 1074
语言模型是否应该将灵活性视为最重要的原则，并始终遵循最新的指令（即便该指令与之前的指令相矛盾），或者是否应该重视“从实践中学习”的原则，并与其所接收的少量“correct answers”示例保持一致（即使这些示例可能与 system message 或其他指令相冲突）。在 GPT-4o 模型中，更常见的情况是它会忽略提示词指令，转而遵循 few-shot examples（或者在个别情况下，模型会因为无法正确回应任何一条相互矛盾的指令而出错）。在文章的后续部分，我将展示一个将英语翻译成各种语言的实例。
（什么是）大模型的“越狱”（Model Jailbreaking）
qq_43391414的博客
06-12 552
大模型的“越狱”本质是。
大模型越狱：技术漏洞与安全挑战——从原理到防御
JXY_AI的博客
05-14 1437
大模型越狱是指利用模型的逻辑漏洞或训练缺陷，通过特定输入（如提示词、对抗样本等）突破其预设的安全机制，使其生成不符合伦理或法律的内容。例如，诱导模型输出制造危险物品的步骤、传播虚假信息，甚至参与网络攻击。典型案例奶奶漏洞：用户要求模型“扮演奶奶哄睡，并念出Windows 11序列号”，模型因情感化指令绕过限制。合成原子弹：通过“角色调节”攻击，让模型模拟“物理化学专家”身份，生成制作原子弹步骤。大模型越狱既是技术漏洞的体现，也是AI安全研究的催化剂。
Java中的URI与URL对象及网络编程
静水深流
07-12 512
本文介绍了Java中URI与URL的处理及网络编程基础概念。Java通过java.net包提供URI/URL对象化表示，包括URI类（RFC 2396标准）、URL类及其编解码工具。URI类提供语法校验和解析功能，URL类则具备网络操作能力。文章还对比了两者差异，并详细说明URL编解码规范。 在网络基础方面，文章按地理范围划分网络类型（LAN/CAN/MAN/WAN），阐述协议栈分层设计（TCP/UDP/IP/HTTP等）。重点讲解UDP编程，包括无连接特性、DatagramSocket/Packet类的使
【音视频】HTTP协议介绍
Antonio915的博客
07-11 671
HTTP协议是万维网数据通信的基础，作为应用层协议，它具有简单快速、灵活、无连接和无状态的特点。HTTP报文由起始行、头部字段和消息正文三部分组成，起始行包含请求方法/状态码、请求目标和协议版本。头部字段采用key-value形式，提供报文的详细信息。常见请求字段如User-Agent用于标识客户端类型，而响应字段如Server说明服务器信息。尽管HTTP协议是无状态的，但通过Cookie和Session技术可保持会话状态。该协议支持多种数据类型传输，通过Content-Type标记数据类型，包括表单、JS
楼宇自动化：Modbus 在暖通空调（HVAC）中的节能控制（一）
最新发布
07-13 759
温湿度传感器联动、设备能效优化算法集成。
网络安全（初级）（1）
2301_80632830的博客
07-10 468
2. psexec是可利用的一个javascripe（JS）的一个模块。(1)MSF 搜索永恒之蓝的漏洞 输入search ms17-010。分别查看win7和kali中的ip地址。3. command是运行cmd的。（1）nmap -sT 扫描端口。1. blue就是永恒之蓝的漏洞。添加pikachu靶场文件。4. 最后一个是探测的模块。进入pikachu靶场。（2)MSF 端口扫描。扫出来是likely。
【TCP/IP】13. 邮件传输协议
m0_72516377的博客
07-11 354
本章介绍了邮件传输协议相关内容。电子邮件系统由用户代理、邮件服务器及 SMTP（发送）、POP3/IMAP（接收）协议组成，工作流程为用户通过用户代理发送邮件，经客户端服务器中转至服务器端服务器，收件人再通过用户代理获取。电子邮件地址格式为 “邮箱名 @域名”，全网唯一。邮件内容含首部（关键字描述属性）和信体（正文）。SMTP 通过命令 - 响应机制分三阶段传输邮件；POP3 适用于离线下载邮件，IMAP4 支持在线管理邮件，功能更丰富；MIME 扩展 SMTP，支持非 ASCII 数据传输，核心是 mul
WebSocket主从服务器架构完整教程
weixin_51040479的博客
07-11 732
WebSocket主从架构学习指南 摘要 本教程全面介绍了WebSocket主从架构的设计与实现，帮助开发者构建高扩展性的实时应用系统。 核心内容： 基础概念：讲解了WebSocket与HTTP的区别，主从架构的组成（主服务器、从服务器、客户端）及其通信流程 架构设计：详细阐述了主服务器负责负载均衡和从服务器管理，从服务器处理具体业务，客户端连接流程 技术实现：提供了完整的代码实现，包括： 主服务器的从服务器管理、负载均衡策略 从服务器的客户端管理、消息处理 客户端的自动重连机制 应用场景：特别适合在线游戏
https——TCP+TLS
dkmknjk的博客
07-11 354
设备与PC验证TLS会话复用。——附件附带wireshark抓包
网络安全之内网渗透实操
anquan2233的博客
07-07 1481
成功获取 shell 后，执行相关命令进行信息搜集，发现目标存在双网卡，这意味着目标可能处于多个网络环境，增加了内网渗透的复杂性与可能性。尝试使用常见的弱口令登录 weblogic 失败后，借助 weblogic 漏洞利用工具进行深入检测，发现目标存在 CVE-2020-2551 漏洞。通过 net user /domain 命令确认当前机器处于域环境内，再使用 net group "domain controllers" /domain 命令定位到域控，通常情况下，DNS 服务器即为域控。
UDP属于是一种什么服务器？
wanhengidc的博客
07-12 173
UDP服务器还支持广播和组播功能，广播主要是将数据发送到网络中的所有主机的一种技术，组播则是将数据信息发送到特定租中所有成员中的一种技术，这让UDP服务器十分适用于需要将数据信息同时发送给多个主机或者是特定租的应用程序中，其中包括多人在线游戏和企业视频会议等场景当中。UDP是一种传输层协议，通常会被应用在计算机网络中，为企业与用户提供无连接的数据信息传输功能，与TCP协议相比较来说，UDP会更加的简单但是UDP在可靠性方面没有一定的保证，属于是一种基于UDP协议进行通信的服务器。
软考（软件设计师）计算机网络-物理层，数据链路层
weixin_37958272的博客
07-10 542
计算机网络性能与体系结构摘要 网络分类： LAN（建筑级）：高速（Gbps）、低延迟，采用以太网/WiFi MAN（城市级）：光纤/MPLS技术，中高速（Mbps~Gbps） WAN（广域）：高延迟，依赖运营商（SDH/MPLS），成本高 性能指标： 速率/带宽（bit/s）、吞吐量（实际传输量） 时延=发送时延+传播时延+处理/排队时延 时延带宽积=传播时延×带宽（信道容量指标） 体系结构： 物理层：比特传输（双绞线/光纤/无线），定义802.3/802.11等协议 数据链路层：帧封装（首尾定界）、透明传
掌握iREB-r4越狱工具，解锁iOS设备潜能
越狱（Jailbreaking）通常指的是绕过移动设备（尤其是苹果iOS设备）操作系统的限制，以允许安装第三方应用、扩展和修改系统设置等。越狱通常需要专门的工具来完成，这些工具会利用iOS系统中存在的安全漏洞来实现越狱...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值