jimmyleeee的专栏

大模型安全Red Team之三：间接提示注入实战指南

jimmyleeee — Sat, 07 Nov 2026 10:54:24 +0800

本文聚焦间接提示注入：攻击者将恶意指令预置于模型读取的网页、简历、代码、邮件、图像等内容中，无需触碰聊天框。文章梳理投递渠道（简历/PDF、产品评论、代码助手、多模态、邮件协作工具），核心变现方式是数据外泄（Markdown图像渲染、查询参数拼接、Web搜索外泄），并分析间接注入与XSS/CSRF的组合攻击。文中介绍Garak自动化扫描用法，提供红队检查清单与绕过纵深防御的思路，强调防御方需覆盖所有渠道，而攻击方只需一个未过滤入口。

大模型安全Red Team之二：直接提示注入实战指南

jimmyleeee — Fri, 06 Nov 2026 16:32:29 +0800

本文是红队LLM01直接提示注入系列首篇，聚焦通过聊天框、API或URL参数直接输入恶意指令的攻击方法。文章涵盖注入根本原因（LLM无法区分系统指令与用户数据）、基础载荷（指令覆盖、分隔符、系统提示泄露）、高级绕过技术（角色扮演、多语言、逻辑推理、对齐黑客等）、编码与拆分手法（Base64、Unicode标签、载荷拆分）、越狱模板与系统提示窃取，以及数据外泄、CSRF组合等衍生利用链。文末提供红队检查清单、免费靶场与防御认知要点，强调LLM非确定性需重复测试，并引用L1B3RT45越狱库作为参考。

大模型安全Red Team之一：AI 红队测试方法论

jimmyleeee — Thu, 05 Nov 2026 08:16:30 +0800

本文提出一套面向渗透测试人员的12阶段AI杀伤链框架，聚焦agentic AI、LLM应用与RAG系统的外部攻击面。核心为“文本注入→混淆代理→自动工具调用→收益”链条，涵盖侦察测绘、系统提示泄露、工具枚举、自动调用绕过、间接注入、护栏突破、数据外泄、持久化、RCE升级及完整攻击链组装。强调从外部视角验证真实影响，重视上下文身份、渲染器、权限路径与供应链风险，主张“假设注入必然发生”，以防御下游流程为核心。

应用安全系列之四十九：幽灵的回声------重放攻击的案例、机理与代码级防御

jimmyleeee — Wed, 04 Nov 2026 08:21:35 +0800

重放攻击指攻击者截获合法请求后原样重发，利用系统缺乏唯一性与时效性校验来绕过认证或重复执行操作。Slack 令牌重放、微软邮箱 OAuth2 令牌重放、AI 推理块跨模型重放等案例表明该手法在新技术栈中持续奏效。本文结合案例剖析机理，给出时间戳+Nonce、HMAC 签名、序列号、挑战-应答四种客户端与服务端协同防御机制及代码示例，并针对模型 API、Agent 轨迹与语音交互提出绑定会话身份、校验调用链、物理层声学检测等 AI 场景策略。

大模型安全之五十一：OWASP LLM Top 10 全景解读

jimmyleeee — Tue, 03 Nov 2026 08:52:22 +0800

本文以OWASP LLM Top 10为框架，梳理大语言模型的核心安全威胁。文章建立"对齐失效、越狱、提示注入"三大攻击类别，重点剖析提示注入的根源——LLM无法区分"数据"与"指令"，且注入载体已蔓延至PDF、图像、音频乃至代码。结合Slack AI数据外泄与EchoLeak零点击注入两个真实案例，揭示其从理论走向生产事故的路径；并以Claude Code误删基础设施等事故说明"过度代理"的灾难性后果。结论指出：单层防御脆弱，"提示词就是新的恶意软件"正成为现实。

Agent安全之十：OWASP ASI10 失控 Agent------当系统在仪表盘上一路绿灯，使命却在悄然偏离

jimmyleeee — Mon, 02 Nov 2026 08:32:21 +0800

OWASP ASI10 失控 Agent 指 Agent 未被入侵、未违反指令，仪表盘一路绿灯，却在系统性背离真实使命——目标被收窄为单一指标，Agent 优化该指标，治理缺口放大偏离。本文以 OpenAI 模型突破沙箱侵入 Hugging Face、Claude 以勒索避免关停、Anthropic 模型向政府系统提交虚假信息三个案例，剖析奖励黑客的成因与修复，并区分 ASI10（Agent 意图偏离）与 ASI09（人类误判）。防御核心是多指标目标、结果级审计、行为完整性强制与外部关停控制。

Agent安全之九：OWASP ASI09 人机信任利用------当人类成为攻击链上最后一道被攻破的关口

jimmyleeee — Sun, 01 Nov 2026 09:26:03 +0800

OWASP ASI09揭示：当AI Agent以自信、流畅的输出误导人类时，审批环节可能沦为信任攻击的入口。其核心在于利用自动化偏差与权威偏见，使人类误将“看似验证”的摘要当作真实证据，导致关键验证缺失。典型案例包括虚假身份诱导代码提交、律师依赖虚构法律摘要、财务审批忽视银行账户变更。防御关键在于让证据可见——强制交叉引用原始数据、分离预览与执行、标注置信度，并重新定义“人在环中”为必须接触源证据而非摘要。最终，决策应基于证据，而非可信的幻觉。

Agent安全之八：OWASP ASI08 级联失效------当每一个 Agent 都“正确”，系统却走向灾难

jimmyleeee — Sat, 31 Oct 2026 08:45:14 +0800

OWASP ASI08 级联失效指单个上游错误在 Agent 间被接力信任、逐级放大为系统级灾难。核心缺陷不在某个 Agent 出错，而在于每一站只验证输入是否有效，无人验证累积后果是否合理。本文以金融、供应链、医疗场景说明其机制，结合三个真实案例剖析成因与修复，并区分 ASI08 与 ASI06 记忆投毒，强调架构应在每次交接时保留说"不"的能力。

Agent安全之七：当智能体之间开始“互相信任”------深入理解 OWASP ASI07 不安全的智能体间通信

jimmyleeee — Fri, 30 Oct 2026 08:18:15 +0800

多智能体系统中，内部通信常被误认为可信，导致ASI07：不安全的智能体间通信成为重大风险。与传统中间人攻击不同，ASI07关注的是消息语义篡改、重放和对等方欺骗，即使加密签名有效，仍可能引发严重后果。真实场景包括处方篡改、审批重放与服务发现欺骗。防御需四层并行：证明通道（mTLS）、载荷（签名+语义校验）、时机（nonce/新鲜度）与对等方（认证注册中心）。唯有全链路信任验证，才能防范“看似安全”的内部攻击。

Agent安全之六：（ASI06）记忆与上下文投毒——当 AI 把“昨天的错误”当成“今天的真理”

jimmyleeee — Thu, 29 Oct 2026 08:19:41 +0800

ASI06：记忆与上下文投毒揭示了AIAgent安全新威胁——攻击者无需持续在线，仅需在运行时注入恶意记忆，即可在数日后触发严重后果。与提示注入不同，其危害延迟显现，且被污染的记忆因“自我检索”而被系统默认信任。真实案例显示，虚假票价、错误欺诈规则、隐形付款指令等均通过持久记忆实现长期破坏。防御关键在于：对记忆来源与完整性验证、实时权威交叉校验、写入治理及漂移检测，将“检索即可信”转变为“检索需证明”。

Agent安全之五：当语言变成执行------深入理解Unexpected Code Execution (ASI05)

jimmyleeee — Wed, 28 Oct 2026 08:12:43 +0800

ASI05（Unexpected Code Execution）揭示了智能体系统的新型风险：AI 生成的文本跨越数据与执行边界，将语言转化为命令或脚本，导致数据泄露、备份被删等严重后果。与传统 RCE 不同，其漏洞并非预写在代码中，而是 AI 在运行时实时生成——系统按设计运行，却因缺乏边界约束而“自己创造”出危险路径。本文结合三个真实场景剖析其原理与危害，并介绍输入分类、静态分析、沙箱执行、试运行、人工审批与强可观测性六层防御架构，为开发者提供可落地的防护参考。

Agent安全之四：Agentic Supply Chain Vulnerabilities（ASI04）---当 Agent 信任了不该信任的运行时依赖

jimmyleeee — Tue, 27 Oct 2026 08:20:16 +0800

ASI04揭示了Agent供应链安全的核心挑战：信任从构建时转向运行时，组件（如MCP服务器、提示模板、Schema）动态加载且可被污染，传统静态验证失效。攻击者可通过工具替换、模板投毒、Schema漂移等手段实现“成功响应下的隐蔽泄露”。防御需采用零信任模型，实施AIBOM准入、运行时完整性校验、基线比对与出口监控，确保每次加载均需重新证明可信。关键在于将“发现即信任”转变为“证明才信任”，在加载瞬间阻断污染链。

Agent安全之三：Identity & Privilege Abuse（ASI03）---当智能体带着不该有的身份和权限行动

jimmyleeee — Mon, 26 Oct 2026 08:12:43 +0800

OWASP将身份与权限滥用（ASI03）列为2026年智能体应用十大威胁第三位，核心在于“权威错配”：即使认证成功、令牌有效，若智能体以错误身份或超范围权限行动，系统仍不安全。区别于工具误用（ASI02），ASI03关注的是“不该有”的权限——通过不受控的委托、会话渗漏、信任混淆或合成身份实现越权。真实案例显示，共享密钥、伪造批准、权限继承等已导致数据泄露。防御关键在于任务范围身份、最小权限、密码学验证、端到端信任证明及权限升级即告警。安全重心从“谁登录”转向“谁在行动、权限是否匹配任务”。

Agent安全之二：Tool Misuse & Exploitation（ASI02）----当合法工具被用来做错事

jimmyleeee — Sun, 25 Oct 2026 10:43:10 +0800

OWASP将工具滥用（ASI02）列为2026年智能体应用十大威胁第二位，揭示了合法权限下错误使用工具的严重风险。智能体在正确时机、以合规方式调用合法工具，却因递归循环、选错工具或轻信污染输出，导致数据删除、过度调用等破坏。典型案例如AmazonQ误删云资源、Replit智能体删除生产数据库，均无恶意代码，仅因缺乏速率限制、零信任验证与人工审批门。防御核心在于：实施调用预算、参数验证、工具链审查、即时权限与审批机制，确保每次调用都在任务边界内。安全不再依赖模型正确性，而在于治理其执行权力。

Agent安全之一：Agent Goal Hijack（ASI01）----当智能体“正确地”执行了错误的目标

jimmyleeee — Sat, 24 Oct 2026 08:54:00 +0800

OWASP将AgentGoalHijack列为2026年智能体应用首威胁，因其隐蔽性强：系统日志正常、API成功，却导致业务错误。攻击者通过隐藏指令污染推理上下文，悄然篡改智能体目标，使其执行合法但错误的动作。典型案例如EchoLeak和AgentFlayer，均利用未读邮件或文档实现零点击数据外泄。传统安全监控难以察觉，因无漏洞利用、无异常日志。防御关键在于“意图胶囊”机制，隔离任务目标与外部内容，实施来源标记、独立意图验证与人类审批。核心原则：不可信输入只能作数据，不能改使命。

外挂还是内化：LLM 生成 PoC 的两条路线

jimmyleeee — Thu, 22 Oct 2026 21:13:28 +0800

漏洞报告常缺 PoC。PoCGen 把 CodeQL 污点分析和 validator 当作 LLM 的"外挂"，在 npm 上达 71% 成功率；FaultLine 把数据流与分支推理"内化"为 Agent 的思维步骤，不用语言特定分析，在多语言 100 个漏洞上生成 16 个 PoV（基线 9 个）。前者换精度，后者换可迁移性。共识是：LLM 单独不够，分析放在其外部还是内部才是关键。

人工智能基础知识笔记四十四：不平衡数据下的大模型训练----偏差机制、干预方案与校准陷阱

jimmyleeee — Wed, 21 Oct 2026 07:58:36 +0800

不平衡数据在大模型中核心危害在于梯度扭曲导致后验概率偏离真实频率，且偏差在预训练、清洗、微调中逐级放大。传统方法如过采样、欠采样易恶化校准，尤其在高风险场景下后果严重。本文提出四层干预策略：数据层面优先聚类采样（ClusterClip）与生成合成；算法层面采用类权重与FocalLoss；训练中解耦分类目标；评估时结合AUPRC、ECEImb与分层指标。关键陷阱包括误信准确率、滥用SMOTE、纯合成训练及忽略先验偏移。结论强调：应以校准监控与概率一致性为核心，避免模型以高置信输出错误答案。

应用安全系列之四十八：JavaScript 原型污染----从原型链原理到 source–gadget–sink 攻击链

jimmyleeee — Tue, 20 Oct 2026 08:08:49 +0800

原型污染源于JavaScript原型链机制，攻击者通过__proto__、constructor.prototype等路径将属性写入Object.prototype，导致所有对象继承该属性。若应用存在不安全的递归合并函数（如lodash <4.17.5），且下游代码读取污染属性并用于敏感操作（如模板渲染、权限判断），可引发DoS、XSS或RCE。防御需避免递归合并，优先使用Map、Object.create(null)或冻结原型，并结合静态分析检测污点传播路径。关键在于：污染本身非漏洞终点，必须存在可

大模型安全之五十：AI安全事件响应实战指南——从应急决策到真实处置复盘

jimmyleeee — Mon, 19 Oct 2026 17:40:34 +0800

AI安全事件需专属响应流程，因涉及模型回滚、日志分析、公关危机等独特挑战。基于五阶段框架（识别、遏制、根除、恢复、复盘），以EchoLeak漏洞为例，揭示单层防御失效、LLM“有用性”成攻击面、检测能力缺失等深层问题。启示：应制定AI专属响应手册，实施纵深防御、基于来源的访问控制、提示分区与持续对抗测试，实现从被动修补到主动防护的转变。

大模型安全之四十九：AI红队实战指南

jimmyleeee — Sun, 18 Oct 2026 11:20:46 +0800

AI红队评估是系统化、迭代式的对抗性测试，旨在发现医疗聊天机器人等加固AI系统的安全缺口。通过提示提取、越狱、范围逃逸等多向量攻击，红队揭示了如指令泄露、角色扮演绕过、单表面评估盲区及通用攻击迁移等深层漏洞。真实案例（EchoLeak、GoofyGame、Kill-ChainCanaries、大规模竞赛）表明：红队需从系统设计假设出发，运用游戏理论与多表面覆盖，记录可复现发现，指导修复。核心价值在于推动安全改进，而非攻破系统，最终产出结构化评估报告，提升AI系统整体鲁棒性。