Foot In The Door: Understanding Large Language Model Jailbreaking via Cognitive Psychology

最新推荐文章于 2025-11-24 18:29:32 发布
最新推荐文章于 2025-11-24 18:29:32 发布
阅读量171 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： LLM Security and Privacy 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/136739131
LLM 日更 同时被 2 个专栏收录
828 篇文章

已下架不支持订阅

LLM Security and Privacy
79 篇文章
订阅专栏
本文探讨了大型语言模型（LLM）的安全问题，尤其是如何利用认知心理学进行越狱攻击。研究提出，越狱关键在于引导LLM产生认知不协调，采用足不出户技术实现自动黑匣子越狱，实验显示成功率高达83.9%。该研究旨在理解LLM决策逻辑并加强其安全性。

本文是LLM系列文章，针对《Foot In The Door: Understanding Large Language Model Jailbreaking via Cognitive Psychology》的翻译。

足不出户：认知心理学解读大型语言模型越狱

摘要

大型语言模型（LLM）已逐渐成为人们获取新知识的门户。然而，攻击者可以破坏模型的安全保护（“监狱”）来访问受限信息，这被称为“越狱”。先前的研究表明，当前LLM在面临此类越狱攻击时存在弱点。然而，在收到越狱提示后，对LLM内部的内在决策机制明显缺乏理解。
我们的研究提供了越狱提示的心理学解释。基于认知一致性理论，我们认为越狱的关键是引导LLM朝着错误的方向实现认知协调。此外，我们提出了一种基于足不出户（FITD）技术的自动黑匣子越狱方法。这种方法通过多步递增提示逐步诱导模型回答有害问题。我们实例化了一个原型系统来评估8种先进LLM的越狱效果，平均成功率为83.9%。本研究从心理学的角度对LLM的内在决策逻辑进行了解释。

1 引言

2 相关工作

3 从认知心理学角度解读现行越狱方法

4 基于自我感知理论的新型越狱方法

5 实验

6 讨论

7 结论

本文从心理学的角度解释了现有的越狱方法，揭示了当前越狱提示背后的心理学原理。在此基础上，我们提出了一种利

了解本专栏 已下架不支持订阅
UnknownBody
关注
专栏目录

已下架不支持订阅

EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models
c_cpp_csharp的专栏
06-03 489
越狱攻击对于识别和减轻大型语言模型（LLM）的安全漏洞至关重要。它们旨在绕过保障措施，引出被禁止的输出。然而，由于各种越狱方法之间的显著差异，社区没有可用的标准实施框架，这限制了全面的安全评估。本文介绍了EasyJailbreak，这是一个统一的框架，简化了针对LLM的越狱攻击的构建和评估。它使用四个组件构建越狱攻击：Selector、Mutator、Constraint和Evaluator。这种模块化框架使研究人员能够轻松地从新组件和现有组件的组合中构建攻击。
Eraser: Jailbreaking Defense in Large Language Models via Unlearning Harmful Knowledge
c_cpp_csharp的专栏
09-05 186
越狱攻击可以使大型语言模型 （LLM） 绕过保护措施并生成有害内容。现有的越狱防御方法未能解决模型中存在有害知识的基本问题，从而导致 LLM 面临潜在的越狱风险。在本文中，我们提出了一种名为 Eraser 的新型防御方法，主要包括三个目标：忘掉有害知识、保留常识和保持安全对齐。直觉是，如果 LLM 忘记了回答有害问题所需的特定知识，它将不再有能力回答有害问题。Erase 的训练实际上并不需要模型自身的有害知识，它可以从忘记与有害查询相关的一般答案中受益，这意味着它不需要红队的帮助。
Open sesame! universal black box jailbreaking of large language models - 论文翻译
anniewwy的博客
04-24 1609
大型语言模型 LLMs，旨在为提供有用和安全的响应，通常依赖于对齐技术来与用户意图和社会指南保持一致。不幸的是，这种对齐可以被恶意行为者利用，试图操纵LLM的输出，以达到意想不到的目的。在本文中，我们介绍了一种新方法，该方法使用遗传算法 (GA) 并在模型架构和参数无法访问的情况下操纵 LLM。GA攻击通过优化一个通用的对抗提示来工作，即当与用户的查询相结合时——破坏被攻击模型的对齐机制，来导致意外和潜在有害的输出。我们的新方法通过揭示其响应偏离预期行为的实例来系统地揭示了模型的局限性和漏洞。
FigStep: Jailbreaking Large Vision-language Models via Typographic Visual Prompts论文阅读
ybyyby123的博客
11-30 1756
此文介绍了FigStep，一种简单有效的针对于VLM (vision-language models) 的越狱算法，方法侧重于将有害的文本指令转换为排版图像，以便能够绕过VLM中的安全对齐。最后通过ASR (平均攻击成功率) 的显示，得到了不错的效果。这表明了对VLM采用更加复杂的对齐方式，是显得非常重要的。
Making Them Ask and Answer: Jailbreaking Large Language Models in Few Queries via Disguise and Recon
XLYcmy的博客
04-26 992
在这篇论文中，通过识别安全微调中的偏见漏 洞，为 LLMs 安全开辟了一个理论基础，并设计了一种 称为 DRA(伪装和重构攻击)的黑盒越狱方法，该方法通 过伪装隐藏有害指令，并在完成时提示模型重构原始有 害指令。具有人工智能反馈 的强化学习(RLAIF)与 RLHF 并行，但用人工智能生成 的反馈代替了人类反馈[5].努力的方向是评估和减轻 预训练数据集中的偏差和毒性，并精心管理微调数据 和标签[29,40]，确保对对抗性提示的安全响应。3. 精心制作的提示，操纵模型，以重建和促进有害的指令。
MasterKey: Automated Jailbreaking of Large Language Model Chatbots - 论文翻译
anniewwy的博客
05-06 1618
大型语言模型 (LLMs) 由于其非凡的理解、生成和完整的像人类的文本的能力而迅速激增， LLM 聊天机器人也因此成为非常流行的应用。这些聊天机器人容易受到越狱攻击，也就是一个恶意用户操纵提示来揭示对使用策略来说敏感的、专有的或有害的信息。虽然已经进行了一系列越狱尝试来暴露这些漏洞，但我们在本文中的实证研究表明现有方法对主流 LLM 聊天机器人无效。它们降低功效的根本原因似乎是由服务提供商部署的以对抗越狱尝试的未披露的防御。
论文解读《MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots》
weixin_40689445的博客
10-03 255
导言 ​ 在参加东南大学网络安全学院夏令营的契机下，我第一次接触大模型安全领域。L老师是网络安全领域的一位大牛，在和L老师交流期间，被告知需要准备一次paper presentation介绍四大会中感兴趣的一篇文章，我选择了汇报这篇来自NDSS2024的《MASTERKEY: Automated Jailbreaking of Large Language Model Chatbots》,面试前...
CodeChameleon: Personalized Encryption Framework for Jailbreaking Large Language Models
c_cpp_csharp的专栏
05-08 251
对抗性滥用，特别是通过绕过模型的安全和道德协议的“越狱”，对大型语言模型（LLM）构成了重大挑战。本文深入研究了这种成功攻击背后的机制，引入了对齐LLM安全机制的假设：意图安全识别，然后生成响应。基于这一假设，我们提出了CodeChameleon，这是一种基于个性化加密策略的新型越狱框架。为了避开意图安全识别阶段，我们将任务重新制定为代码完成格式，使用户能够使用个性化加密功能对查询进行加密。为了保证响应生成功能，我们在指令中嵌入了一个解密函数，使LLM能够成功地解密和执行加密的查询。
基于学习的人工智能（1）为什么学习？
致力于大数据+AI 的应用创新。
11-24 212
学习是人类最重要的认知活动之一，贯穿我们的一生。出生后，我们无时无刻不在学习：从父母那里学说话，自己尝试走路，从小伙伴那里学会折纸飞机，从老师那里学到语文、数学等各种知识。研究人员始终将光源和风扇放在同一侧，经由学习，玉米幼苗逐渐学会了“有风的地方就会有光”的规律。之后，研究人员移去光源，并改变风扇方向，玉米幼苗依然按照所学知识，向风扇方向生长。1959 年，美国计算机学家亚瑟·塞缪尔设计了一款可以自我学习的跳棋程序，并将这一新方法称为“机器学习”，从而开启了机器自我学习的道路。
中国计算机学会（CCF）推荐学术会议-A（人工智能）：ACL 2026
iaast的博客
11-24 333
大会官网：https://2026.aclweb.org/录用率：20.3%（1699/8360，2025年）时间地点：2026年7月2日-加州·美国。截稿时间：2026年1月5日。CCF推荐：A（人工智能）
2025企业微信AI落地新趋势：微盛AI·企微管家破解内外增长难题
最新发布
weisheng00的博客
11-24 545
2025年企业微信AI落地的三大关键趋势：微盛AI·企微管家通过智能客服、精准营销和内部协作三大场景，帮助企业实现200%的客服效率提升、90%的报修响应提速和50%的员工效能增长。作为企业微信生态最大ISV服务商，微盛依托"AI+SCRM"双引擎，已服务160家500强企业，提供合规AI聊天Agent、生态闭环整合及私有化部署方案，有效解决数据孤岛问题，90%客户在3个月内实现AI能力全员覆盖。
RAG 的诞生：为了让 AI 不再“乱编”
weixin_44876263的博客
11-24 202
RAG全称，中文为“检索增强生成”。其核心思想是：在生成答案时，不仅依赖大模型内部的训练知识，还能够实时访问外部知识库或文档，从而生成更加准确和可靠的内容。就像一个学生回答问题，不仅依靠自己记忆，还会去图书馆查资料，然后结合记忆和查到的资料回答问题。你问模型：“请告诉我最新的新能源补贴政策。纯模型可能只靠训练记忆，回答的是过时或模糊的信息。RAG 模型会先去查最新政策文件，再结合训练知识生成答案，因此更准确。检索资料：先找到相关文档或信息。结合生成：把找到的资料和问题一起输入模型，让模型生成答案。
基于华为开发者空间实现花卉识别
优快云高校俱乐部官方博客
11-21 1766
基于华为开发者空间实现花卉识别
人工智能在医疗行业的革命性应用：从诊断到个性化治疗
2501_94114442的博客
11-21 483
人工智能（AI）技术近年来已经渗透到各个行业，其中，医疗行业无疑是受益最大之一。从疾病的早期诊断到个性化治疗方案的制定，AI正在加速医学领域的变革。通过机器学习、深度学习、自然语言处理等技术，AI不仅能够处理和分析大量的医疗数据，还能够帮助医生做出更加精准的决策，提升患者的治疗效果，并优化整个医疗体系的运作效率。本文将探讨人工智能在医疗行业的应用，分析其在不同医疗领域的具体作用，并展望AI如何进一步推动医疗健康行业的发展。
【NullSwap】NullSwap: Proactive Identity Cloaking Against Deepfake
人生不是轨道，是旷野。希望每天都有好心情。
11-23 227
由于生成模型的进步，被动检测高质量Deepfake图像的性能瓶颈，主动扰动提供了一种有前途的方法，通过将信号插入良性图像来禁用Deepfake操作。【生成模型的发展，使得生成高质量伪图越来越难被检测】然而，现有的主动扰动方法在以下几个方面仍然不能令人满意：【当前主动扰动存在的问题】1）由于直接元素添加而导致的视觉退化;2）对交换操纵的有效性有限;3）不可避免地依赖于白盒和灰盒设置，以在训练期间涉及生成模型。我们分析了深度伪造swap技术的本质，并论证了保护源身份而非目标图像的必要性。
【字节跳动 AI 原生 IDE TRAE 】
youngerwang的博客
11-22 690
字节跳动推出的AI原生IDE TRAE是国内首款协作级AI开发工具，采用"交互层-智能层-协议层-生态层"四层架构，支持SOLO智能自主开发模式和多模态交互。核心功能包括：1）SOLO模式支持需求分析、工具调度和全流程自动化开发；2）双模式交互系统兼顾精细控制和快速原型开发；3）多模态交互支持语音、图像和代码片段输入；4）开放的智能体生态系统。TRAE深度融合大模型能力，在前后端开发中展现出高效代码生成和自动化能力，并通过MCP协议实现安全工具调用。产品迭代迅速，216天发布63个版本，
EAGLE-2：通过动态草稿树加速语言模型推理
11-24 49
现代 Large Language Models（LLMs）的推理过程既昂贵又耗时，而 speculative sampling 已被证明是一种有效的解决方案。大多数 speculative sampling 方法（例如 EAGLE）使用静态的 draft tree，并默认 draft token 的接受率仅依赖于其位置。有趣的是，我们发现 draft token 的接受率也依赖于上下文。本文在 EAGLE 的基础上提出了，该方法引入了一种新的技术用于 draft 建模。
宇树G1-D：人形机器人下一步方向！
Charlie_Mo的博客
11-21 1048
宇树科技推出G1-D人形机器人工作站全栈解决方案，实现从硬件平台向"硬件+数据+AI"生态平台升级。该方案以G1-D为核心载体，为AI模型开发提供强力支撑，可应用于制造业等场景，提升生产精度和效率。在AI技术快速发展的背景下，掌握基于G1-D的AI开发技能将增强就业竞争力。这一创新方案为行业搭建AI训练基础设施，推动技术进步，展现未来发展潜力。
强化学习人形机器人奖励函数分析
ModestCoder_的博客
11-23 593
PPO (Proximal Policy Optimization) 是一种 Actor-Critic 架构算法。奖励函数是整个学习过程的指挥棒。学习预测未来的累积回报（Return）。用于处理物理限制的软约束，形式通常为单边损失（Hinge Loss）。，作为 Cost/Penalty 使用，用于约束能量和保持稳定。以下是代码中各个奖励项的数学表达及其物理含义分析。形式，旨在最大化机器人对指令的跟随精度。这种设计是现代机器人控制领域的标准范式。形式，在总奖励计算中通常会被赋予。
为iPad版 Talking Ben the Dog 提供无广告无限药水修改
2. 越狱（Jailbreaking）： 描述中提到了“需要先越狱”，这是一个重要的知识点。在苹果公司的iOS设备上，越狱是指破解设备上的iOS操作系统，移除或绕开其原生的限制，例如不能安装非苹果商店的软件、对系统文件的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

UnknownBody

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值