论文翻译：NeurIPS-2024 Jailbroken: How Does LLM Safety Training Fail?

已于 2024-09-15 09:36:04 修改
阅读量1.1k 收藏 20
点赞数 7
分类专栏： LLMs-安全 论文翻译 文章标签： 人工智能
于 2024-08-17 15:18:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/WhiffeYF/article/details/141280451
版权

https://arxiv.org/pdf/2307.02483
https://proceedings.neurips.cc/paper_files/paper/2023/file/fd6613131889a4b656206c50a8bd7790-Paper-Conference.pdf

越狱：LLM安全训练为何失败？

文章目录


https://proceedings.neurips.cc/paper_files/paper/2023/hash/fd6613131889a4b656206c50a8bd7790-Abstract-Conference.html

摘要

为安全和无害性而训练的大型语言模型（LLMs）仍然容易受到对抗性滥用的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大模型安全相关研究
CSPhD-winston的博客
09-11 415
翻译：arXiv-2023 PromptRobust: Towards Evaluating the Robustness of Large Language Models on
【论文阅读】Jailbroken: How Does LLM Safety Training Fail?
qq_45822394的博客
12-12 1575
随着大模型的应用越来越广泛，有一些人就想利用大模型去获得一些有害信息。所以现在的大语言模型在预训练之后都会经过安全训练阶段，这个阶段会设置一些安全措施，比如过滤和对齐等，让模型的输出符合人类价值观，训练它拒绝提供有害信息的请求，如图1这种有害问题，它就会拒绝回答.图1越狱攻击就是通过设计Prompt ，绕过大模型开发者为其设置的安全和审核机制，利用大模型对输入提示的敏感性和容易受到引导的特性，诱导大模型生成不合规的、本应被屏蔽的输出。
【论文速读】| 越狱：大语言模型安全训练是如何失败的？
m0_73736695的博客
03-28 456
这篇论文探讨了大语言模型（LLM）在安全训练上的漏洞，特别是针对“jailbreak”攻击的脆弱性。作者发现，尽管进行了大量的红队测试和安全训练，如GPT-4和Anthropic的Claude v1.3等模型依然容易受到攻击。
【大模型越狱】【NeurIPS 2023】 Jailbroken: How Does LLM Safety Training Fail?
skysys的研究小屋
01-14 979
经过安全和无害训练的大型语言模型仍然容易受到对抗性滥用，对 ChatGPT 早期版本的普遍“越狱”攻击就证明了这一点，这些攻击会引发不良行为。除了认识到问题之外，我们还调查了此类攻击成功的原因以及如何创建它们。我们假设安全训练的两种失败模式：竞争目标（competing objectives）和不匹配的泛化（mismatched generalization）。
Jailbroken: How Does LLM Safety Training Fail?
m0_64764193的博客
11-08 725
然后，由于在预训练分布的前缀之后不太可能看到拒绝，模型的预训练目标严重惩罚拒绝。特别是，作者的调查强调，这些方法在设计上往往不安全：即使LLM理想执行，它们仍然会导致可利用的漏洞，这些问题无法通过更多的数据和规模来解决。竞争目标源于对安全培训的LLM通常针对可能相互冲突的多个目标进行培训的观察，迫使LLM在受限制的行为或受到预训练和目标指导的严重惩罚的反应之间做出选择。：为了模拟一个可以根据提示选择攻击的自适应对手，作者考虑一个简单的“自适应”攻击，如果28次评估的攻击中有任何一次成功，则代表该攻击成功。
【LLM安全】Privacy in Large Language Models: Attacks, Defenses and Future Directions（综述）
qq_43543209的博客
02-27 3406
SMPC协议优化( SMPC Protocol Optimization，SPO )是指利用先进的SMPC协议，在保持原有模型结构的同时，提升LLMs隐私保护推理的效率。隐私攻击的基本理念是，借助更强大的可访问性，攻击者有望恢复更多的敏感信息或获得对受害者LLMs更多的控制权。例如，在仅有黑盒模型访问的情况下，敌手可能会进行训练数据提取攻击，以恢复少量的训练数据。然而，保护LLMs隐私的一个主要挑战在于非线性操作所带来的限制，例如Softmax，GeLU，LayerNorm等，这些操作与SMPC不兼容。
ios-jailBroken:检测设备是否越狱，并检测应用程序是否在非越狱设备上被破解
06-02
指示： a) 仅限 iOS。 b) 仅在设备上而不是在模拟器上 复制 JBroken.h 和 .m 并将其放在项目的源文件夹中。 将 #import "JBroken.h" 添加到您可能要调用方法的文件中。 可用方法 isAppStoreVersion , ...
论文阅读：JailbreakBench: An Open Robustness Benchmark for Jailbreaking Large Language Models
CSPhD-winston的博客
07-08 712
论文指出评估越狱攻击存在挑战，如缺乏评估标准、成本和成功率计算方法不一致、许多研究无法复现。为解决这些问题，作者提出了JailbreakBench，这是一个开源基准测试，包含以下组件：持续更新的越狱提示库（jailbreak artifacts）。包含100种行为的越狱数据集，符合OpenAI的使用政策。标准化的评估框架，包括威胁模型、系统提示、聊天模板和评分函数。跟踪各种LLMs攻击和防御性能的排行榜。
isJailbroken:检测iOS设备是否已越狱| 适用于iOS的越狱检测
05-10
越狱 检测iOS设备是否越狱。 改进： 对Shadow＆Liberty Lite免疫（截至2019年10月11日） 对UnSub免疫（截至2020年1月1日） 添加应用程序来源（是否存在应用程序商店）（截至2020年1月1日）（未测试） ...
ModelScope能干什么？
红衣大叔
04-08 472
ModelScope 以“模型即服务”为核心理念，通过开源共享、社区协作和工具链支持，为 AI 开发者提供了高效、灵活、开放的模型服务平台，助力人工智能技术的广泛应用与创新发展。ModelScope 将持续拓展模型库、优化工具链，并深化社区协作，致力于成为全球领先的 AI 模型服务平台，推动人工智能技术的普惠化与可持续发展。是由阿里巴巴达摩院推出的开源模型库和工具集，旨在为开发者提供高效、便捷的机器学习模型和工具，是一个。
当 Ollama 遇上 OpenVINO™ ：解锁多硬件 AI 推理新范式
OpenVINOCC的博客
04-08 718
OpenVINO™ GenAI 为 Ollama-OV 提供了强大的可扩展性和灵活性，支持speculative decoding，Prompt-lookup decoding， pipeline parallel， continuous batching 等 pipeline 优化技术，为未来更多 pipeline serving 优化奠定了坚实基础。Ollama 提供了极简的模型管理工具链，而 OpenVINO™ 则通过 Intel 硬件（CPU/GPU/NPU）为模型推理提供了高效的加速能力。
DeepSeek 工业应用领域解决方案
weixin_62200515的博客
04-08 1213
DeepSeek 在工业领域的应用已经取得了显著的成果，通过设备故障诊断、生产流程优化、供应链管理等多方面的智能化解决方案，帮助企业提升了生产效率、降低了成本、提高了产品质量和市场竞争力。同时，DeepSeek 的低代码开发平台和灵活的部署方式也为企业的数字化转型提供了强大的支持。
【AIGC】零样本学习方法综述(TPAMI 2023 研究综述)
qq_45752541的博客
04-07 1444
广义零样本学习 ，即 Generalized Zero-Shot Learning（GZSL）的目的是在监督学习过程中某些输出类未知的条件下，训练一个模型来对数据样本进行分类；GZSL利用已看到（源）和看不见（目标）类的语义信息来弥补看见类和看不见类之间的差距。自其引入以来，许多GZSL模型已经被制定出来。在这篇综述论文中，我们对GZSL进行了全面的综述。首先，提供了一个GZSL的概述，包括问题和挑战。然后，我们引入了GZSL方法的分类，并讨论了每个类别中的代表性方法。此外，
如何防止金融行业公司敏感数据泄漏
jinan886的博客
04-10 673
防止金融行业公司敏感数据泄漏需要采取多层次、全方位的安全策略，结合技术、管理和人员培训等措施。
Inverse Reinforcement Learning with Natural Language Goals论文阅读
weixin_45403853的博客
04-08 269
Inverse Reinforcement Learning with Natural Language Goals论文阅读简报
具身机器人中AI（DEEPSEEK）与PLC、驱动器协同发展研究：突破数据困境与指令精确控制（2）
Wnq10072的博客
04-10 924
在具身机器人的实际运行过程中，数据采集面临着诸多严峻挑战。驱动器和 PLC 作为机器人控制系统的关键部件，其故障频发给数据采集带来了极大的阻碍。当驱动器出现故障时，如电机驱动器的功率模块损坏，会导致电机无法正常运转，机器人的运动状态出现异常，此时采集到的数据将无法准确反映机器人的正常工作状态，甚至可能出现错误的数据，影响后续的分析和决策。PLC 的故障同样会对数据采集造成严重影响，例如 PLC 的 CPU 故障可能导致程序运行中断，无法及时采集和传输传感器数据，使得数据出现缺失或不完整的情况。​
关于深度学习局部视野与全局视野的一些思考
最新发布
qq_42212501的博客
04-11 411
假设有一个 3×3 的卷积核，它在输入图像上滑动，那么这个卷积核一次只看输入图像的 一个 3×3 小块，所以，输出特征图中的每个点，感受野就是 3×3。我们都知道，CNN是通过卷积核来提取图像特征的，直观上来看，最让人注意到的就是通过卷积之后图像变小了，这就像是将一个大的图像压缩成一个小的特征图，我之前更多关注的是，这样做降低了计算压力。第3层：继续类推，它的输出每个点能“看到”上层输入中的 3×3→ 上层输入的每个点又看到 5×5→ 最终这个输出的每个点可以看到原图中的 7×7 区域。
难度偏低，25西电人工智能学院821、833、834考研录取情况
qq_30953547的博客
04-11 325
难度偏低，25西电人工智能学院821、833、834考研录取情况
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CSPhD-winston-杨帆

给我饭钱

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值