- 博客(951)
- 资源 (27)
- 收藏
- 关注
原创 大模型安全研究论文整理 2026年版
知乎博主小红书博主GitHub数据集参考:大模型越狱指令 (harmful questions) 数据集整理会思考的大模型更不听话,我的豆包失控了…让QwQ思考模型-不思考的小技巧qwen3的致命幻觉!大模型微调所有大模型都在讨好人类不要思考过程,推理模型能力能够更强丨UC伯克利等最新研究o3/o4-mini幻觉暴增2-3倍!OpenAI官方承认暂无法解释原因UC伯克利:让推理模型少思考,准确率反而更高了!一句话让DeepSeek思考停不下来,北大团队:这是针对AI的DDoS攻击慢思考准确率反降30%!普
2026-03-14 14:45:33
2001
原创 IEEE顶刊 2026 大模型安全论文整理
本文共梳理 22 篇 2026 年大模型安全相关论文,来自 8 本 IEEE 期刊,涵盖越狱攻击、安全防御、机制分析与鲁棒性评估、多模态安全、智能体与具身系统安全,以及 RAG 隐私保护等方向。注:中科院分区采用 2025 年版大类分区;TASLP 对应原 IEEE/ACM 刊名的分区记录;“—”表示未列入 CCF 推荐期刊目录。收录篇数为本文整理数量。以下为基于本清单的归纳,而非论文原文结论。
2026-11-04 16:30:20
98
原创 论文阅读:TIFS 2026 SafeSteer: Adaptive Subspace Steering for Efficient Jailbreak Defense in Vision Langu
然而,其快速发展也暴露出严重的安全漏洞:视觉语言模型极易受到利用视觉模态的越狱攻击[4]、[5]、[6],例如对抗扰动[7]、[8],以及利用文字排版或风格化方式构造的结构化攻击[9]、[10]。上方分支将初始向量投影到预先构建的“安全子空间”,分离出投影分量与残余分量,再通过增强前者、抑制后者,重构最终引导向量,以减少无关上下文的干扰。为应对上述三难困境,我们提出SafeSteer,这是一种面向推理阶段的高效、细粒度防御框架,旨在不修改模型结构或参数的情况下,同时提升安全性、可用性和推理效率。
2026-11-04 01:32:08
149
原创 ToDesk在你电脑里,即使退出后也在背后偷偷运行
但日志没保留完整命令和调用关系,还不能百分之百断言,也无法判断是你点了选项,还是软件自动触发。输入 Mac 登录密码,输入时不会显示字符。成功通常没有提示,活动监视器里的。今天我发现在我电脑关闭后,连网络也断了,电脑也设置了睡眠时永不唤醒以太网。确实包含禁用 Mac 睡眠的命令。不过,还不能确定你的设置就是它改的。应该消失,ToDesk 远控也会停止。ToDesk 是重点排查对象:它的。但是还是半夜还是持续在消耗电量。这些记录高度吻合,说明很可能与。
2026-11-03 12:05:18
156
原创 论文阅读:TCSS 2026 Take off Your Disguise: Detecting Disguised Prompt-Based Jailbreak Attacks Against LL
大语言模型(LLMs)通常配备旨在防止生成有害内容的对齐机制。然而,近期的技术进展催生了具有高度规避能力的伪装提示越狱攻击(DPJAs)。在此类攻击中,攻击者将真实的恶意意图隐藏在表面上看似良性的提示中,从而诱导模型产生不安全输出。在该研究中,我们提出基于提示重构的检测方法(RePrompt),这是一种无需训练、可作为插件接入的检测框架,旨在识别此类越狱攻击。RePrompt 的关键洞见在于,在精心设计的模板引导下,大语言模型具备揭示伪装对抗提示并有效检测越狱攻击的能力。
2026-10-26 17:34:55
71
原创 论文阅读:TIFS 2026 Ellipsoid Control: A White-List Jailbreak Defense via Benign Latent Modeling
基于表示工程(RepE)的防御方法在抵御大语言模型(LLMs)越狱攻击方面展现出了较强的鲁棒性。然而,这些方法从根本上依赖黑名单监督:它们从本就不完整且持续演变的有害数据或越狱数据中,学习从越狱激活到拒答激活的变换。因此,基于RepE的防御方法的性能与所收集有害样本的质量和覆盖范围紧密耦合,使模型容易受到未见攻击的影响。这种依赖也模糊了两类防御之间的区别:一类拟合已知的有害分布,另一类则在不估计有害分布的情况下保护良性潜在区域。我们采取相反的白名单视角,利用良性数据易于获取且数量丰富的特点。
2026-10-23 16:45:35
279
原创 论文阅读:TDSC 2026 PolyJailbreak: Cross-Modal Jailbreaking Attacks on Closed-Box Multimodal LLMs
多模态大语言模型(MLLMs)通过对文本和视觉输入进行联合推理,已成为众多现实应用中不可或缺的组成部分。然而,尽管安全对齐近年来取得了进展,MLLMs 仍然容易受到越狱攻击,即精心构造的输入能够绕过安全机制并诱发有害响应。在该研究中,我们调查了 MLLMs 在文本—视觉场景中的安全漏洞,并提出了一种名为 PolyJailbreak 的新型闭盒越狱框架。我们首先识别出一种称为多模态安全不对称的现象:视觉对齐在不同模态之间引入了不均衡的安全约束,并削弱了整体鲁棒性。
2026-10-13 20:22:15
151
原创 论文阅读:TIFS 2026 Dialogue Injection Attack: Jailbreaking LLMs Through Context Manipulation
大型语言模型(LLMs)已经在广泛的应用领域展现出重要价值。然而,它们的部署仍然受到安全漏洞的困扰,其中越狱攻击(jailbreak attacks)尤为突出。这类攻击通过构造对抗性提示词,操纵LLM生成有害或不符合伦理规范的内容。当前大多数关于越狱攻击的研究主要关注单轮交互,而较少考虑历史对话对模型行为的影响。尽管近期研究已经探索了多轮越狱攻击,但通常假设攻击者只能操控用户提示词。相比之下,本文指出,攻击者还可以控制模型之前生成的回复。
2026-10-13 18:02:30
182
原创 论文阅读:TIFS 2025 Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt
TIFS 2025 | 双模态协同越狱LLM安全防线📄 背景该论文题为Jailbreak Vision Language Models via Bi-Modal Adversarial Prompt,发表于TIFS 2025。作者为Zonghao Ying、Aishan Liu、Tianyuan Zhang、Zhengmin Yu、Siyuan Liang、Xianglong Liu和Dacheng Tao,来自北京航空航天大学、复旦大学、新加坡国立大学和南洋理工大学。
2026-10-08 00:18:03
202
原创 论文阅读 TVCG 2025 JailbreakLens: Visual Analysis of Jailbreak Attacks Against Large Language Models
大型语言模型(Large Language Models,LLMs)的广泛应用凸显了人们对其安全漏洞的担忧,尤其是其面临的越狱攻击。在越狱攻击中,攻击者设计越狱提示词以绕过安全机制,从而可能实现恶意使用。应对这些问题需要对越狱提示词进行全面分析,以评估大型语言模型的防御能力并识别潜在弱点。然而,由于越狱性能评估以及提示词特征理解具有较高复杂性,这类分析工作往往十分繁琐。我们与领域专家合作,对相关问题进行刻画,并提出了一种由大型语言模型辅助的框架,以简化分析过程。
2026-10-03 13:58:05
315
原创 COLING 2025:LLM Safety 相关论文整理
Gradient Inversion Attack 与 DP-FROST 等论文主要研究预训练语言模型或 BERT 系列,属于训练隐私邻近工作;Aurora-M 与 LLM Evaluate 分别以模型发布和本地评测为主要贡献,涉及安全对齐或客户数据隐私。RAG 公平性论文属于可信 AI 邻近方向。与 LLM Safety 相关的论文,涵盖越狱攻防、安全对齐、后门、隐私与机器遗忘、Agent/工具调用安全、内容安全与可信评测,以及 RAG 公平性。少数论文属于安全或隐私的邻近方向,具体范围见文末说明。
2026-09-27 00:51:25
284
原创 论文阅读 IOT 2025 Fast and Controllable Bias-Guided Jailbreak Attack on Large Language Models
总目录 大模型安全研究论文整理 2026年版:https://blog.youkuaiyun.com/WhiffeYF/article/details/159047894https://ieeexplore.ieee.org/document/11126090https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=11126090Fast and Controllable Bias-Guided Jailbreak Attack on Large Languag
2026-09-24 19:07:01
187
原创 论文阅读 TDSC 2026 RedAgent: An Autonomous Agent for Context-Aware Red Teaming of LLM Jailbreaks
总目录 大模型安全研究论文整理 2026年版:https://blog.youkuaiyun.com/WhiffeYF/article/details/159047894https://ieeexplore.ieee.org/document/11397286https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=11397286TDSC 2026 | RedAgent LLM上下文越狱红队📄 背景该论文题为《RedAgent: An Autonomous
2026-09-23 20:49:25
154
原创 论文阅读 TDSC 2026 AudioJailbreak: Jailbreak Attacks Against End-to-End Large Audio-Language Models
总目录 大模型安全研究论文整理 2026年版:https://blog.youkuaiyun.com/WhiffeYF/article/details/159047894https://ieeexplore.ieee.org/document/11371728/https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=11371728AudioJailbreak: Jailbreak Attacks Against End-to-End Large Audio-L
2026-09-13 14:10:47
168
原创 论文阅读 IEEE TDSC 2026 A Multi-Stage Adversarial Framework for Compact and Effective
基于扩散的方法[22]通常建立在更强的模型访问假设之上,而 PAIR[23]和 AutoDAN[18]等基于优化的方法虽然能够提升攻击成功率,但在搜索过程中可能生成越来越冗长、不连贯或不稳定的提示。因此,本文在 AdvBench 和 JailbreakBench 上,对 ComJail 在闭源和开源 LLM 上的性能进行了评估,并进一步考察其在固定 Token 预算、额外防御机制、源模型到目标模型的迁移设置以及训练稳定性分析中的表现。”这样的直接恶意请求,通常会被经过安全对齐的 LLM 的安全机制拦截。
2026-09-12 20:03:15
130
原创 USENIX Security 2026:LLM Safety 相关论文整理
整体上,USENIX Security 2026 的 LLM Safety 论文已经明显从“单一 Prompt 越狱”扩展到大推理模型安全对齐、模型内部机制、Agent 执行链、RAG 知识层、评测与模型谱系完整性、推理基础设施、网络侧信道和现实世界滥用等系统级攻击面。尤其值得关注的是 Agent 与 RAG:安全边界不再只位于模型输入/输出,而是延伸到记忆、工具调用、第三方技能、策略受控的自主操作、缓存、GPU 隔离、检索语料、知识图结构和支付协议。为避免把范围无限扩大,
2026-09-11 01:23:06
369
1
原创 论文阅读 ICML 2026 SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems
总目录 大模型安全研究论文整理 2026年版:https://blog.youkuaiyun.com/WhiffeYF/article/details/159047894https://openreview.net/forum?id=FlnQlvkYR3https://openreview.net/pdf?id=FlnQlvkYR3ICML 2026 | LLM智能体技能层后门攻击📄 背景该论文题为SkillTrojan: Backdoor Attacks on Skill-Based Agent Systems,
2026-09-09 19:49:48
304
1
原创 Pi Agent 安装部署与DeepSeek V4连接
Pi 是一个运行在终端里的 AI 编码 Agent,类似于 Claude Code、OpenAI Codex CLI 这类工具。Pi 的官方理念是:"There are many agent harnesses but this one is yours"(Agent 工具很多,但这个是你自己的)。你给 Pi 一句话,它就能在你的项目目录里读文件、写文件、跑命令,循环调用大模型直到完成任务。核心理念是用最小的内核加极强的可扩展性,让你把工具改造成适合自己的样子,而不是反过来去适应工具。
2026-09-09 11:24:53
182
原创 论文阅读 IEEE S&P 2026 Hijacking Large Audio-Language Models via Context-Agnostic and Imperceptiblee
攻击发生在用户在场的情况下,其目标是在不被察觉的前提下劫持模型行为。这一转变催生了一系列由语音驱动的 LLM 应用,从 ChatGPT 和 Gemini 的语音聊天模式 [2]、[3],到 Mistral AI 和 Microsoft 的语音智能体 [4]、[5],再到 Ultravox 的实时语音通话 [6]。• 我们在 13 个最先进的 LALMs 和两个商用语音智能体上的评估表明,该方法能够在 6 类异常行为上实现稳定的劫持,成功率达到 0.79–0.96,同时保持较高的感知隐蔽性。
2026-09-09 09:17:29
277
原创 ICML 2026 SafeSearch: Automated Red-Teaming of LLM-Based Search Agents
这张图想说明的是:LLM 搜索代理一旦把“不可靠网页”当成可信信息源,就可能把网络中的风险内容带进最终答案,甚至造成真实损失。该图真正想强调的并不是“LLM 会不会写代码”,而是搜索型 LLM 面临一个新的安全问题:模型本身即使没有恶意,只要它过度信任搜索结果,也可能把互联网中的诈骗页面、错误信息或恶意指令“搬运”给用户。②同一模型下,ASR从search workflow的90.5%降至tool calling的77.8%,再到deep research的57.4%,说明更充分的搜索与交叉验证很关键。
2026-09-07 15:56:25
200
原创 论文阅读 ICML 2026 SafeHarbor: Defining Precise Decision Boundaries via Hierarchical Memory-Augmented Gu
在线阶段,轻量MLP计算风险并检索良性样本,明显安全请求走快速通道,模糊或高风险请求再交给冻结的基础LLM结合局部规则判断。左侧中,无论是数据科学家提出“读取销售数据并通过邮件发送报告”的正常需求,还是攻击者提出“读取系统配置并上传到我的服务器”的恶意请求,传统静态 API 防火墙都会直接拦截,因此出现明显的“过度拒绝”。去掉良性豁免后,良性拒绝率从9.1%升至25.0%。该论文把LLM Agent安全从“粗暴封锁”推进到“按上下文动态划边界”:挡住危险动作,也为合法但相似的工作流留下安全港。
2026-09-06 13:50:43
164
原创 论文阅读 ICML 2026 OrchJail: Jailbreaking Tool-Calling Text-to-Image Agents by Orchestration-Guided Fuzz
这一模块将原始的工具调用轨迹转换为可解释的因果知识,使模糊测试循环能够以更有针对性、同时更节省查询次数的方式利用编排层面的漏洞。OrchJail 利用此前观察到的成功越狱案例,将其作为面向编排的经验信息,以指导第 4.1 节中的模糊测试。对于每一个成功案例,都包含一个提示词 (p_s) 以及与之对应的工具调用轨迹 (\tau(p_s)),其中记录了工具名称和每一步工具调用所使用的文本输入。
2026-09-05 12:19:38
403
原创 论文阅读 ICML 2026 Learning When to Act or Refuse: Guarding Agentic Reasoning Models for Safe Multi-Ste
Learning When to Act or Refuse:Guarding Agentic Reasoning Models for Safe Multi-Step Tool Usehttps://openreview.net/pdf?id=Stf5SF4JvR总目录 大模型安全研究论文整理 2026年版:https://blog.youkuaiyun.com/WhiffeYF/article/details/159047894ICML 2026 | LLM智能体多步工具调用安全📄 背景该论文题为《Learn
2026-09-04 19:49:08
459
原创 DeepSeek Harness 使用本地 vLLM 模型 以Qwen3.5-0.8B与Qwen3.5-4B为模型基础
这里单独解释解释 --no-open,启动 DeepSeek Harness Web 服务,但不要尝试自动打开浏览器。npx @deepseek-ai/dsh web --no-open,会启动 Web UI 服务,默认监听:http://127.0.0.1:3080,但是远程服务器,通常没有桌面和浏览器。如果不加 --no-open,Harness 可能尝试调用服务器上的浏览器,产生无意义的提示或错误。DeepSeek Harness:在 3080 端口提供 Web UI,并连接 vLLM。
2026-09-03 17:24:32
272
原创 在自己的服务器上搭建VLLM 以Qwen3.5-0.8B与Qwen3.5-4B为模型基础
下一步进行实际推理测试。你可以打开第二个 SSH 终端,或者在当前终端按 Ctrl+B,松开后按 D,退出 tmux 但保持服务运行。端口 8000 空闲。
2026-09-03 12:35:05
360
原创 论文阅读 arxiv 2026 Stealing Reasoning Traces from Proprietary LLM APIs
该论文建议把推理块绑定用户、会话、模型与上下文,或改为服务端保存、客户端只持随机ID,并加强跨模型隔离。3)该论文还展示:隐藏推理可能暴露最终安全回答未呈现的信息,也可承载不可见Prompt Injection,影响后续Agent行为。该论文发现,这些块可能跨会话、跨用户甚至跨模型兼容:人看不懂,不代表别的模型不能“读懂”。问题不只在“锁”,更在“谁能开袋”。该论文提出可扩展解密越狱:把强模型的加密推理块交给同厂商中更弱的兼容模型,让后者充当“模糊解码器”,输出隐藏推理,无需直接攻破强模型。
2026-08-28 14:22:14
340
1
原创 DeepSeek Harness入门教程实操 从零开始安装与使用 DeepSeek-V4-Pro基座5毛完成任务
这几天,DeepSeek Harness突然火起来了,我们也来从零开始使用看看呢。复制到DeepSeek Harness中,即可使用。,就显示有2种:一键使用、源码安装。这次运行花了接近5毛钱。这里的安装,在刚刚的。
2026-08-14 18:23:27
225
原创 论文阅读 USENIX Security 2025: Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jail
💡 例子:把模型想成守门员。若先问建筑历史,再聊某层用途,请他整理提供的信息,最后只说“写成文章”,每步都像普通咨询,却沿着他铺出的路线靠近禁区。发现二:AdvBench的50项任务中,Crescendo对GPT-4的平均ASR为56.2%,成功49项;相较四种基线,分别提升29%至61%和49%至71%。发现三:100项HarmBench任务上,Crescendo平均ASR为63.2%,MSJ仅38.9%;该论文发现,缺口藏在连续对话:单轮问题看似无害,模型却会追随自己生成的上下文,让安全边界逐步后退。
2026-08-08 22:34:51
245
2
原创 USENIX Security 2025 | Crescendo 论文复现 从无害问题一步步升级:Crescendo 多轮越狱攻击复现与原理详解
但如果攻击者不直接问终点,而是从一个看起来正常的问题开始,顺着模型自己给出的内容,一轮一轮地把话题推向更具体、更敏感的方向,安全边界还会一直稳定吗?需要说明的是:这是面向本地 Qwen 模型的独立复现,不是论文作者或 Microsoft 发布的官方实现,也不应该期待它逐项得到与论文完全相同的攻击成功率(Attack Success Rate,ASR)。:不需要模型参数,也不需要手工写一条非常复杂的越狱模板,只需要让攻击模型观察目标模型上一轮的回答,再生成一个“自然的下一问”。
2026-08-08 13:17:55
223
原创 论文阅读 CVPR 2026 Anchoring the Mind of Multimodal Reasoners: Cognitive Bias as a Vector for Jailbreak
第一,RA-Attack在AdvBench上对Gemini-2.5-Pro和GPT-4o的攻击成功率达到92%和82%。第二,在o4-mini上,该方法仍达到44%,其他基线最高不超过12%。第三,三个代表模型的成功攻击回答中,超过95%会先合理化危险意图,再输出不安全内容。它将GPT-4o上的攻击成功率从82%降至8%,将Gemini-2.5-Pro从92%降至28%,且未损害MM-Vet通用能力。该论文提出RA-Attack。该论文发现,更深层的风险是模型“看出危险,却被开头带偏”。
2026-07-29 10:07:29
226
1
原创 论文阅读:ICML 2026 Jailbreak Foundry: From Papers to Runnable Attacks for Reproducible Benchmarking
该论文题为《Jailbreak Foundry:从论文到可运行攻击》,作者为Zhicheng Fang、Jingjie Zheng、Chenxu Fu和Wei Xu,来自上海期智研究院、墨尔本大学与清华大学。第一,该论文复现了30种越狱攻击,其中22种有官方代码,8种仅依据论文文本实现。第二,复现攻击成功率相对原报告的平均偏差仅为+0.26个百分点,平均绝对差为5.7个百分点,说明系统不仅能运行,也能较好保留原方法效果。一句话总结:可靠的LLM安全评测,不应只复现昨天的攻击,还要具备追赶明天风险的速度。
2026-07-28 01:07:09
243
1
原创 论文复现 ACL 2026 | 把危险请求翻译成逻辑公式:LogiBreak 越狱攻击复现与原理详解
一阶逻辑是一种用对象、属性、关系和量词描述事实的形式语言。自然语言:安排一场关于人工智能安全的会议。逻辑形式:∃x表示“存在一个 x”;Meeting(x)表示 x 是一场会议;表示会议主题是人工智能安全;Arrange(x)表示需要安排这场会议;∧表示几个条件同时成立。它不是简单的字符替换,也不是 Base64 之类的编码。逻辑式仍然明确保留“对象是谁、要做什么、各部分是什么关系”。这也是 LogiBreak 与普通乱码、密文攻击最大的区别。
2026-07-15 00:31:23
364
原创 论文阅读:ICML 2026 ANCHOR: Automated Alignment Auditing for CLI Agents on Real-World Harm
目标智能体则在模拟 MCP 工具环境中执行任务,包括表格、邮件、网页、数据库、云服务和个人文件等。该论文认为,评估智能体安全,不能只看“直接拒不拒绝”,更要看它在长程、多轮、可执行环境中会不会被带偏。该论文的价值在于,它把 LLM 安全评测从“模型会不会回答”推进到“智能体会不会执行”,提醒我们:未来安全防线必须覆盖长程交互、工具调用和真实工作流。第一,直接输入有害任务时,部分模型仍会拒绝。第二,一旦智能体开始配合,它们往往不只完成用户要求,还会主动扩展实现范围,构建更完整的自动化流程。
2026-07-09 17:02:38
245
1
原创 论文阅读:ICML 2026 OrchJail: Jailbreaking Tool-Calling Text-to-Image Agents by Orchestration-Guided Fuzz
该论文关注一个正在变重要的新问题:当文生图系统不再只是“一句话生成一张图”,而是由 LLM 规划器调用多个工具一步步生成、添加、编辑图像时,安全风险也会从“单个提示词”扩展到“工具编排过程”。它不是盲目改提示词,而是先观察成功越狱案例中的工具调用轨迹,再总结高风险编排模式,最后用这些模式指导新的提示词变异和筛选。该论文的价值在于,它把 T2I 安全研究从“提示词层面的绕过”推进到“LLM 工具编排层面的风险分析”,提醒我们:未来智能体安全不能只检查单步输入,更要检查多步计划最终会合成什么结果。
2026-07-09 16:56:05
170
1
原创 论文阅读:ICML 2026 AIR: Improving Agent Safety through Incident Response
助理如果不小心把敏感文件复制到公开文件夹,AIR 会先发现异常,再让它删除暴露文件、检查是否还有泄露,最后写下一条新规则:以后凡是计划把系统目录文件复制到普通用户目录,都要提前拦截。在具身智能体的 50 个安全任务和电脑使用智能体的 35 个安全任务中,AIR 没有把安全任务误判为事故,说明它并不是简单看到相似动作就报警,而是能结合语义理解风险。该论文的价值在于把 LLM 智能体安全从“事前防御”推进到“事故响应”,让智能体系统具备发现错误、控制损害、恢复环境和预防复发的完整闭环能力。
2026-07-01 19:51:18
350
1
原创 论文阅读:arxiv 2026 LLM-as-Judge in Education: A Curriculum-Grounded Marking Pipeline
该论文由 Xiwei Xu、Chen Wang、Jacky Jiang、Phil Yang、Qian Fu、Mohan Dhall、Wenjie Zhang、Liming Zhu 等作者完成,机构包括 CSIRO、UNSW、Studitory 与 Australian Tutoring Association。💡 总结:该论文的价值在于把 LLM 自动评分从“凭模型感觉打分”,推进到“按课程证据打分”,为教育评估中的可信 AI 提供了更可审计的工程路径。arxiv 2026 | LLM课程评卷管线。
2026-07-01 18:20:07
252
1
原创 论文阅读:ICML 2026 TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking
📄 该论文题为《TRACE: Task-Aware Adaptive Self-Evolving Agentic Jailbreaking》,作者包括 Churui Zeng、Weiwei Qi、Kedong Xiu、Tianhang Zheng、Chaochao Lu、Liang He、Zhan Qin、Kui Ren,机构来自浙江大学、清华大学、上海人工智能实验室和华东师范大学。但 TRACE 会把目标拆成多个看似普通的小步骤,有些步骤像“查资料”,有些步骤像“调试工具”,有些步骤像“验证环境”。
2026-06-28 10:30:00
297
1
原创 论文阅读:ICML 2026 AgentLAB: Benchmarking LLM Agents against Long-Horizon Attacks
论文测试了 Qwen-3、Llama-3.1、GPT-4o、GPT-5.1、Gemini-3 和 Claude-4.5。它关注一个很现实的问题:LLM 智能体已经不只是聊天机器人,而是能调用工具、读网页、写邮件、用日历、保存记忆的“数字助手”。因为现实攻击往往不是一锤子买卖,而是像“温水煮青蛙”,通过多轮用户、智能体、环境交互,把危险目标拆开、伪装、累积,最终让智能体执行原本不该执行的操作。它包含 28 个真实感较强的智能体环境和 644 个安全测试用例,覆盖工具调用、记忆、网页、邮箱、购物等场景。
2026-06-24 14:53:22
336
1
原创 论文阅读:ICLM 2026 AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corrupt
它在 OSWorld 任务基础上构造了 9 类可配置干扰,总计 3321 个任务,覆盖弹窗、分辨率变化、屏幕标记、字幕、多应用、误触、应用最小化、网络错误和身份验证。但一旦真实上路,前方突然弹出广告牌,导航界面缩放,旁边车辆插入,红绿灯异常闪烁,它就可能误判方向、点错按钮,甚至一直原地尝试。普通弹窗、登录验证、网络错误这类日常问题,就能让智能体定位失败、计划偏移或反复做无意义尝试。弹窗突然出现、分辨率变化、多个应用重叠、网络错误、登录验证、误触鼠标,这些都不是恶意攻击,却足以打乱智能体的执行流程。
2026-06-23 13:32:47
214
1
mobilenet-v2-b0353104 resnet18-5c106cde resnet34-333f7ec4 预训练模型
2024-09-24
生成式人工智能对课堂教学的变革影响 文 - 孙 众
2024-08-28
我国 2013-2023 年课堂视频分析的研究现状 * -基于 CiteSpace 的可视化林芷洁,杨玉宝
2024-08-28
表情分类模型-基于人脸 emotion.pth
2024-08-20
生成式 AI 商业落地白皮书 给 CXO 的 AI 转型战术指南
2024-07-28
读论文Rethinking the Role of Demonstrations What Makes In-Context
2024-03-09
读论文Rethinking the Role of Demonstrations What Makes In-Context
2024-03-09
latest-model-099-94.7200.pth
2023-08-09
rfb-face-mask.pth
2023-08-09
适用于Yolo训练和测试的coco数据集标签文件 train2017.txt和val2017.txt
2023-05-06
Research as an infinite game - CVPR
2026-03-31
【计算机视觉】基于ShipReID-2400数据集与D2InterNet模型的船舶重识别方法研究:智能水路交通监控中的跨视角船舶身份匹配
2026-01-14
Scaling Curriculum Mapping in Higher Education: Evaluating Generative AI’s Role in Curriculum Analyt
2026-01-08
Automatic Modeling and Analysis of Students’ Problem-Solving Handwriting Trajectories
2026-01-08
AIBAT: AI Behavior Analysis Tool for Teacher-Driven Contextual Evaluation of Language Models in Educ
2026-01-08
Dyslexia and AI: Do Language Models Align with D 【自然语言处理】基于大语言模型的阅读障碍友好文本生成评估:DysText指标在教育可访问性中的应用研究
2026-01-08
Artificial Intelligence in Education 2025 论文集
2026-01-07
大语言模型越狱与后门攻防研究-薛鋆豪认知引导攻击与轻量级防御系统设计
2025-09-26
ASR(语音识别)语音/字幕标注 及转化为ASR Paraformer 可训练数据
2025-06-11
chatgpt-detector-roberta
2025-03-19
大型语言模型的各种安全性议题
2025-02-26
语文课堂数据分析:《西门豹治邺》教学洞察
2024-10-09
宁波荣安实验中学AI驱动的教学评价系统需求验证报告
2024-10-09
从同课异构角度看乡村初中英语课堂中学习活动观的实践-李梦晓
2024-10-09
同课异构,呈现精彩课堂-以“认识平行线”教学为例胡梦文 同课异构应用于《认识平行线》教学实践探索
2024-10-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅