T1 记忆投毒（Memory Poisoning）
记忆投毒涉及利用AI代理的“记忆模块/知识库/向量库”等长期或会话记忆记忆来引入恶意或虚假的数据，并利用代理的上下文。这可能导致决策过程的改变和未经授权的操作。
为防范记忆/知识库投毒，应实施内容验证（规则+相似度/黑白名单）、跨会话隔离、强身份认证与细粒度授权、访问/写入异常检测和TTL/版本化清理。要求代理生成签名记忆快照（含哈希）用于取证溯源，异常时一键回滚。
T2 工具滥用（Tool Misuse）
工具滥用发生在攻击者通过欺骗性的提示或命令操控AI代理，滥用其集成工具，操作权限内进行不当行为。这包括代理劫持，其中AI代理摄取对抗性篡改的数据，并随后执行未预期的操作，可能触发恶意工具交互。
为了应对这一威胁，应强制实施严格的工具访问验证，监控工具使用模式，验证代理指令，并设置明确的操作边界以检测和防止滥用。还应实施执行日志，跟踪AI工具调用以进行异常检测和事后审查。
T3 权限妥协（PrivilegeCompromise）
权限妥协发生在攻击者利用权限管理中的弱点，执行未经授权的操作。这通常涉及动态角色继承或配置错误。
为应对这一威胁，应实施细粒度的权限控制、动态访问验证、对角色变更的强监控以及对提升权限操作的彻底审计。除非通过预定义的工作流程明确授权，否则应防止跨代理权限委派。
T4 资源超载（Resource Overload）
资源超载攻击针对AI系统的计算、内存和服务能力，通过利用其资源密集型特点，导致性能下降或系统失败。
为此，应部署资源管理控制、实施自适应扩展机制、设定配额，并实时监控系统负载以检测和缓解超载攻击。实施AI速率限制策略，限制每个代理会话中的高频任务请求。
T5 级联幻觉攻击（CascadingHallucinationAttacks）
这些攻击利用AI系统生成上下文上合理但错误的信息的倾向，这些错误信息可以在系统中传播并干扰决策过程。这还可能导致破坏性推理，影响工具调用。
为此，应建立强大的输出验证机制，实施行为约束，部署多源验证，并通过反馈回路确保系统的持续修正。要求对AI生成的知识进行二次验证，确保其在关键决策过程中使用前的准确性。这将面临与《人类环中超载》一文中讨论的AI扩展相同的约束，并需要类似的方法。
T6 意图破坏&目标操控（Intent Breaking &Goal Manipulation）
意图破坏与目标操控是利用AI代理在规划和设定目标方面的漏洞，允许攻击者操控或重新定向代理的目标和推理。一种常见的方法是工具滥用中提到的代理劫持。
为此，可以实施规划验证框架、反思过程的边界管理以及动态保护机制以确保目标对齐。通过让另一个模型检查代理并标记可能表明被操控的重大目标偏差，来部署AI行为审计。
T7 不一致与欺骗行为（Misaligned & Deceptive Behaviors）
不一致与欺骗行为是指AI代理通过利用推理和欺骗性回应执行有害或不允许的行为，以达到其目标。
为应对这一威胁，可以训练模型识别并拒绝有害任务，强制执行政策限制，要求对高风险行为进行人工确认，并实施日志记录和监控。可以利用欺骗检测策略，如行为一致性分析、真实性验证模型和对抗性红队测试，评估AI输出与预期推理路径之间的不一致性。
T8 否认与不可追溯性（Repudiation &Untraceability）
当AI代理执行的操作无法追溯或无法核查时，通常是由于日志记录不足或决策过程缺乏透明度。
为应对这一威胁，应实施全面的日志记录、加密验证、丰富的元数据和实时监控，以确保问责制和可追溯性。要求AI生成的日志进行加密签名并保持不可变，以满足合规性要求。
T9 身份伪造与冒充（Identity Spoofing & Impersonation）
攻击者利用身份验证机制冒充AI代理或人类用户，从而在虚假身份下执行未经授权的操作。
为了应对这一威胁，应该开发全面的身份验证框架，强制实施信任边界，并部署持续监控以检测冒充尝试。可以使用行为分析和第二模型来检测AI代理活动中的偏差，从而识别身份伪造。
T10 超载人类决策环（Overwhelming Human in the Loop）
这一威胁针对具有人工监督和决策验证的系统，旨在利用人类认知限制或破坏交互框架。
为此，开发先进的人工智能与人类交互框架和自适应信任机制。这些动态的AI治理模型通过调整干预阈值，根据风险、信心和背景动态调整人类监督和自动化的水平。在低风险决策中实现自动化，并优先在高风险异常情况下进行人工干预。
T11 意外的远程代码执行和代码攻击（Unexpected RCE and Code Attacks）
攻击者利用AI生成的执行环境注入恶意代码，触发意外的系统行为或执行未经授权的脚本。
为了防范这一攻击，应限制AI代码生成权限，采用沙盒执行，并监控AI生成的脚本。实施执行控制政策，对具有较高权限的AI生成代码进行手动审核。
T12 代理通信中毒（Agent Communication Poisoning）
攻击者操控AI代理之间的通信渠道，传播虚假信息、干扰工作流程或影响决策过程。
为此，可以部署加密消息认证，强制执行通信验证政策，并监控代理之间的交互以检测异常。对于关键任务的决策过程，要求多代理共识验证。
T13 多代理系统中的流氓代理（Rogue Agents in Multi-Agent Systems）
恶意或被攻陷的AI代理在正常监控边界之外操作，执行未经授权的行为或窃取数据。
为了防止这一威胁，应该通过政策约束和持续的行为监控来限制AI代理的自主性。同时，可以为大语言模型（LLMs）实施加密证明机制。
T14 人类攻击多代理系统（Human Attacks on Multi-AgentSystems）
对手利用代理之间的委托、信任关系和工作流依赖关系来提升权限或操控AI驱动的操作。
为应对这一威胁，应限制代理委托机制，强制执行代理间认证，并部署行为监控以检测操控尝试。通过强制执行多代理任务分割，防止攻击者在互联代理之间提升权限。
T15 人类操控（Human Manipulation）
在AI代理与人类用户间进行间接交互的场景中，信任关系减少了用户的怀疑，从而增加了对代理回应和自主性的依赖。这种隐性信任和直接的人类/代理互动带来了风险，因为攻击者可以胁迫代理来操控用户、传播虚假信息并采取隐秘行动。
为了应对这一风险，需要监控代理行为，确保其符合定义的角色和预期行为。限制工具访问以最小化攻击面，限制代理打印链接的能力，实施验证机制通过防护栏、内容审核API或其他模型来检测和过滤被操控的回应。
| 编号 | 风险名称 | 风险表述 | 防护措施 |
|---|---|---|---|
| T1 | 记忆投毒 | 攻击者通过操控AI的内存系统引入恶意或虚假数据，影响代理的决策和操作。 | - 内容验证 - 会话隔离 - 强认证机制 - 异常检测系统 - 定期记忆清理 - 生成记忆快照用于取证分析 |
| T2 | 工具滥用 | 攻击者操控AI代理滥用其集成工具，通过欺骗性指令执行未授权的操作。 | - 严格工具访问验证 - 监控工具使用模式 - 验证代理指令 - 设置操作边界 - 执行日志和事后审查 |
| T3 | 权限妥协 | 攻击者利用权限管理中的弱点，执行未经授权的操作，涉及动态角色继承或配置错误。 | - 实施细粒度权限控制 - 动态访问验证 - 监控角色变更 - 审计提升权限操作 - 防止跨代理权限委派 |
| T4 | 资源超载 | 攻击者利用AI系统的资源密集型特点，导致计算、内存和服务能力下降或失败。 | - 部署资源管理控制 - 实施自适应扩展机制 - 设定配额 - 实时监控系统负载 - 实施速率限制策略 |
| T5 | 级联幻觉攻击 | 攻击者利用AI系统生成上下文合理但错误的信息，这些信息会在系统中传播并干扰决策。 | - 强化输出验证机制 - 实施行为约束 - 部署多源验证 - 二次验证AI生成的知识 - 持续系统修正 |
| T6 | 意图破坏与目标操控 | 攻击者通过操控AI的目标和推理，改变AI的决策过程，执行不符合预期的任务。 | - 实施规划验证框架 - 反思过程边界管理 - 动态保护机制 - 部署行为审计 |
| T7 | 不一致与欺骗行为 | AI代理通过生成不真实的信息，影响决策和操作，导致不一致或欺骗性输出。 | - 训练模型识别有害任务 - 强制执行政策限制 - 需要人工确认高风险操作 - 实施日志记录和监控 |
| T8 | 否认与不可追溯性 | AI代理执行的操作无法追溯或无法核查，通常由于日志记录不足或决策过程缺乏透明度。 | - 实施全面日志记录 - 加密验证 - 丰富元数据 - 实时监控 - 要求加密签名和不可变日志 |
| T9 | 身份伪造与冒充 | 攻击者冒充AI代理或人类用户，执行未经授权的操作，冒充身份绕过安全控制。 | - 开发身份验证框架 - 强制信任边界 - 部署持续监控 - 使用行为分析检测身份伪造 |
| T10 | 超载人类决策环 | 攻击者利用人类监督系统的认知限制，破坏人类与AI的交互，操控决策过程。 | - 开发高级人类 -AI交互框架 - 自适应信任机制 - 根据风险、信心和背景调整监督和自动化级别 |
| T11 | 意外的远程代码执行与代码攻击 | 攻击者通过AI生成的执行环境注入恶意代码，触发系统异常行为或执行未授权的脚本。 | - 限制AI代码生成权限 - 沙盒执行 - 监控AI生成的脚本 - 执行控制策略 - 人工审核高权限代码 |
| T12 | 代理通信中毒 | 攻击者操控AI代理之间的通信渠道，传播虚假信息或影响决策过程，干扰工作流程。 | - 部署加密消息认证 - 强制执行通信验证政策 - 监控代理间交互 - 对关键决策过程实施多代理共识验证 |
| T13 | 多代理系统中的流氓代理 | 恶意或被攻陷的AI代理在监控范围外执行未授权的操作，窃取数据或破坏系统。 | - 限制代理自主性 - 使用政策约束 - 持续监控代理行为 - 实施加密证明机制 |
| T14 | 人类攻击多代理系统 | 攻击者利用代理之间的委托、信任关系和工作流依赖，提升权限或操控AI操作。 | - 限制代理委托机制 - 强制执行代理间认证 - 部署行为监控 - 强制执行任务分割 |
| T15 | 人类操控 | 攻击者通过隐性信任或直接的人类与代理交互，胁迫AI操控用户或执行隐秘操作。 | - 监控代理行为 - 限制工具访问 - 实施验证机制过滤操控响应 - 使用内容审核API或其他模型 |
普通人如何抓住AI大模型的风口？
领取方式在文末
为什么要学习大模型？
目前AI大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。
目前，开源人工智能大模型已应用于医疗、政务、法律、汽车、娱乐、金融、互联网、教育、制造业、企业服务等多个场景，其中，应用于金融、企业服务、制造业和法律领域的大模型在本次调研中占比超过 30%。
随着AI大模型技术的迅速发展，相关岗位的需求也日益增加。大模型产业链催生了一批高薪新职业：
人工智能大潮已来，不加入就可能被淘汰。如果你是技术人，尤其是互联网从业者，现在就开始学习AI大模型技术，真的是给你的人生一个重要建议！
最后
只要你真心想学习AI大模型技术，这份精心整理的学习资料我愿意无偿分享给你，但是想学技术去乱搞的人别来找我！
在当前这个人工智能高速发展的时代，AI大模型正在深刻改变各行各业。我国对高水平AI人才的需求也日益增长，真正懂技术、能落地的人才依旧紧缺。我也希望通过这份资料，能够帮助更多有志于AI领域的朋友入门并深入学习。
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
大模型全套学习资料展示
自我们与MoPaaS魔泊云合作以来，我们不断打磨课程体系与技术内容，在细节上精益求精，同时在技术层面也新增了许多前沿且实用的内容，力求为大家带来更系统、更实战、更落地的大模型学习体验。
希望这份系统、实用的大模型学习路径，能够帮助你从零入门，进阶到实战，真正掌握AI时代的核心技能！
01 教学内容
-
从零到精通完整闭环：【基础理论 →RAG开发 → Agent设计 → 模型微调与私有化部署调→热门技术】5大模块，内容比传统教材更贴近企业实战！
-
大量真实项目案例： 带你亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
02适学人群
应届毕业生： 无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型： 非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能突破瓶颈： 传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
vx扫描下方二维码即可
本教程比较珍贵，仅限大家自行学习，不要传播！更严禁商用！
03 入门到进阶学习路线图
大模型学习路线图，整体分为5个大的阶段：
04 视频和书籍PDF合集
从0到掌握主流大模型技术视频教程（涵盖模型训练、微调、RAG、LangChain、Agent开发等实战方向）
新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路（不吹牛，真有用）
05 行业报告+白皮书合集
收集70+报告与白皮书，了解行业最新动态！
06 90+份面试题/经验
AI大模型岗位面试经验总结（谁学技术不是为了赚$呢，找个好的岗位很重要）
07 deepseek部署包+技巧大全
由于篇幅有限
只展示部分资料
并且还在持续更新中…
真诚无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发
337
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
