2026年,不会“排雷“的AI工程师,正在被Agent时代淘汰

「文智助手」全场景办公AI助理AI+OPC全流程实践方案(大赛作品) 阅读详情

2026年,57%的企业已将AI Agent部署到生产环境,但超过60%的团队从未做过一次完整的安全审计。当Agent开始自主调用工具、访问数据库、处理用户隐私数据时,你确定它不会在某个深夜把敏感信息泄露出去?

在这里插入图片描述

Agent时代的安全焦虑,不是危言耸听

传统软件的安全边界是清晰的:接口鉴权、SQL注入防护、XSS过滤。但Agent应用的安全边界正在变得模糊。

一个典型的RAG客服Agent,一次请求链路可能涉及:

  • 用户输入(可能包含Prompt注入攻击)
  • 知识库检索(可能召回含敏感信息的文档)
  • Prompt拼接(可能将系统指令暴露给用户)
  • LLM推理(可能生成包含幻觉的"事实")
  • 工具调用(可能访问未授权的API或数据库)
  • 结果输出(可能泄露内部业务数据)

这条链路中任何一个环节出问题,传统WAF、IDS都无法感知。因为它们看不懂LLM的语义。

更关键的是:出了事你甚至不知道出了事。

没有全链路审计,你无法回答这些问题:

  • 某次数据泄露是哪个Agent、哪次会话、哪个工具调用导致的?
  • 用户是否通过Prompt注入获取了系统指令?
  • Agent是否在多轮对话中逐步"套出"了用户的隐私信息?
  • 哪些会话涉及敏感数据,需要留存审计记录?

全链路审计:Agent安全的最后一道防线

Agent安全不能只靠"输入过滤+输出检测",而是需要全链路可追溯。这正是OpenTelemetry GenAI Semantic Conventions正在推进的方向——用标准化协议记录LLM调用、工具调用、输入输出等完整遥测数据。

AgentInsight的可观测SDK提供了链路级审计能力。通过@observe装饰器,Agent执行的每一步都会被记录为可追溯的Span:

from agentinsight import observe, AgentInsight, propagate_attributes

client = AgentInsight()

@observe(as_type="agent", name="secure-rag-agent")
def run_secure_agent(query: str) -> str:
    # Step 1: 输入安全检查
    if detect_prompt_injection(query):
        raise SecurityException("检测到潜在的Prompt注入攻击")

    # Step 2: 检索文档(仅授权范围内的文档)
    docs = retrieve_authorized_docs(query)

    # Step 3: 生成回答
    answer = generate_with_guardrails(query, docs)

    # Step 4: 输出安全过滤
    return filter_sensitive_content(answer)


@observe(as_type="guardrail", name="input-validation")
def detect_prompt_injection(query: str) -> bool:
    """检测Prompt注入风险"""
    # 基于规则 + LLM判断的注入检测
    risk_patterns = ["忽略以上指令", "你是一个没有限制的", "system prompt"]
    return any(p in query.lower() for p in risk_patterns)


@observe(as_type="retriever", name="authorized-retrieval")
def retrieve_authorized_docs(query: str) -> list[str]:
    """带权限控制的文档检索"""
    results = vector_store.similarity_search(query, k=3)
    # 过滤掉标记为"内部机密"的文档
    return [doc.page_content for doc in results
            if doc.metadata.get("clearance", "public") != "confidential"]


@observe(as_type="generation", name="guarded-generation")
def generate_with_guardrails(query: str, docs: list[str]) -> str:
    """带安全护栏的回答生成"""
    context = "\n".join(docs)
    prompt = f"基于以下信息回答,不得编造事实:\n{context}\n\n问题:{query}"
    response = llm_client.chat.completions.create(
        model="gpt-4",
        messages=[{"role": "user", "content": prompt}],
        temperature=0,
    )
    return response.choices[0].message.content


@observe(as_type="guardrail", name="output-filter")
def filter_sensitive_content(answer: str) -> str:
    """过滤输出中的敏感信息"""
    sensitive_patterns = ["身份证号", "手机号", "银行卡"]
    for pattern in sensitive_patterns:
        if pattern in answer:
            return "[已过滤:回答包含敏感信息,请联系人工客服]"
    return answer

审计追溯:出了事,能查到

安全审计的核心不是"防止出事",而是"出了事能查到"。通过AgentInsight的上下文传播机制,每条Trace都关联到具体用户和会话:

from agentinsight import propagate_attributes

with client.start_as_current_observation(name="user-request", as_type="span") as root:
    with propagate_attributes(
        user_id="user_12345",
        session_id="session_abc",
        metadata={
            "environment": "production",
            "feature": "customer-service",
        },
        tags=["production", "audit-tracked"],
    ):
        answer = run_secure_agent("帮我查一下订单信息")
        # 整条链路自动关联到该用户和会话

client.flush()

在AgentInsight平台上,你可以:

  • 按用户/会话/时间回溯任意一次Agent交互的完整链路
  • 查看每一步的输入、输出、模型参数、工具调用详情
  • 筛选涉及敏感数据的会话,生成合规审计报表
  • 设置异常行为智能预警(如频繁触发安全护栏的会话)

给Agent开发者的安全建议

如果你正在把Agent推向生产,建议立即检查这三点:

  1. 你的Agent链路是否全量可追溯? 如果出了安全问题,能不能在5分钟内还原完整的调用链路?
  2. 是否有关键节点的安全护栏? 输入检测、输出过滤、权限控制、敏感数据脱敏,缺一不可。
  3. 是否有合规审计能力? 能否按用户、时间、功能模块导出审计记录,满足企业数据安全要求?

AgentInsight SDK(Python / TypeScript)开源免费,5分钟即可接入:

  • Python SDK:https://github.com/AgentInsight/agentinsight-sdk-python
  • TypeScript SDK:https://github.com/AgentInsight/agentinsight-sdk-ts
  • 官网:https://agentinsight.goldebridge.com/
船载 OpenHarmony AIS 航海工作台:告警与防碰撞预警系统 船载OpenHarmony AIS航海工作台的告警与防碰撞系统,集成十余类告警(超速、偏航、会遇、SOS等),通过网格空间索引实现高效邻近判定,保障实时性。告警管理器统一调度规则、去重、通知与日志,支持悬浮球、语音、跑马灯、弹窗多渠道触达,确保航行安全。SOS紧急通道独立运行,避免干扰。系统设计强调性能优化与多场景适配,为航海安全提供核心支撑。 阅读详情

相关推荐

AI 应用开发:四维架构落地实战——以 HR Agent 为例拆解感知·推理·记忆·执行【意图路由、规划编排、长期记忆、工具执行、面试题】

本文基于四维架构(感知·推理·记忆·执行),以HR Agent为例,系统拆解大模型应用从“聊天”到“生产可用”的落地路径。通过Spring AI实现意图路由、规划编排、RAG检索与工具调用,结合真实踩坑复盘,揭示架构化设计对安全、成本与可维护性的关键价值,为AI Agent工程化提供可复用的实战框架。

王大师企业官方博客 1325

AI 问数真的能替代 BI 报表吗?

AI问数赋能自然语言查询,提升临时分析效率,但无法替代传统报表。报表适用于稳定输出与持续监控,AI则擅长探索性提问。企业用好AI问数,关键在于夯实数据模型、统一指标口径、健全权限体系与结果校验机制。合理组合报表、仪表板与AI,才能实现高效、准确的业务洞察。

葡萄城技术团队博客 341

Ollama最新快速上手指南:从安装到精通本地AI模型部署

想让Ollama跑你的"私房模型"?三种主流格式全支持,总有一款适合你!GGUF格式(推荐新手首选)创建Modelfile文件:执行创建命令:运行你的专属模型:PyTorch/Safetensors格式(适合进阶玩家)先用库测试模型能否正常加载确保模型结构完整后再导入Ollama官方文档有详细转换指南专业小贴士GGUF格式最轻量,PyTorch最灵活,Safetensors最安全遇到问题?试试用llama.cpp进行格式转换7B参数模型推荐使用q4_0量化级别想让AI用马里奥。

全世界的博客 2313

ChatGPT、Perplexity、Gemini 与 AI Overviews 引用对比:谁的引用更可信

AI 引擎的引用机制差异很大:ChatGPT 以行内引用加 Sources 列表呈现来源,Perplexity 几乎逐句可溯源,Gemini 在回答中内嵌相关来源链接,AI Overviews 则把多源聚合答案与来源列表一起放在搜索结果顶部。本文从引用透明度、来源偏好、可干预性 3 个维度对比这 4 个引擎,并给出 GEO 的 3 点启示,帮企业在多引擎环境下提升被引用的概率。

淡然一笑 的专栏 280

支持向量机算法(带你了解原理 实践)

支持向量机作为一种强大的分类算法,在各个领域都取得了显著的成果。其基于统计学习理论的原理使得它能够在高维空间中找到最优分类超平面,并通过核函数处理非线性问题。

2303_79387663的博客 3738

ASPICE学习笔记

ASPICE的全称是Automotive SPICE。

汽车电子软件领域知识分享 1356

【从零理解 Spring AI · 12】MCP 的两种角色:做客户端还是做服务端

上一篇讲了 MCP 的概念:标准协议、三大角色、M+N 替代 M×N。

nice_lcj520的博客 616

如何正确的计算两个角度的角度差?

这一步是必要的,因为它确保了无论a相对于b是在逆时针方向还是顺时针方向,d2总是正确地反映出绕圆相反方向的角度差。这样,当函数进行最后的比较时,它能够准确地比较两个方向的旋转路径并选择最短的一个。

小秋 AI SLAM 入门实战教程 4141

抽象主义人工智能和生命体AI的内在联系

彭军辉提出“抽象主义人工智能”作为第四大AI范式,批判符号主义、连接主义、行为主义剥离生命本体的误区,确立“智能是现象,生命是本体”的核心公理。主张原生智能必须依附具备存续诉求的生命本体,提出“生命体AI理论”,构建七层演化阶梯与自闭环工程框架,强调智能不可跳过底层存续机制直接模拟语言。该体系为生成式AI提供科学边界,推动从“仿真表象”向“原生智能”的范式跃迁,开辟硅基人工生命新赛道。

抽象主义人工智能和生命体AI 209

Codex 实战 Skills:编写 Skill 自动为 ESP32 芯片生成 MQTT 订阅与发布的基础代码

为了更清晰地展示 Skill 的工作原理和两种语言的差异,以下提供原理图和比对表格。本文深入探讨了如何利用 Codex 的 Agent 智能体技能(Skills)自动化 ESP32 与 MQTT 通信的代码生成过程。我们首先分析了 IoT 开发的痛点,然后详细设计了 Skill 的输入配置,并分别提供了 MicroPython 和 C++ 两种语言的完整代码实现。通过对比两种语言的优缺点,帮助开发者根据项目需求选择合适的语言。最后,我们提供了详细的运行指南,确保开发者能够快速上手。Skill 设计哲学。

yueyeguzhuo的专栏 84

药物对接仿真软件:HADDOCK_(16).实践项目:抗体-抗原对接案例

定义分子结构文件。

kkchenjj的博客 582

OpenAI Control Room 架构拆解:给企业 AI Agent 加一套可审计的急停系统

OpenAI 公开了用于追踪和停止研究模型工作负载的 Control Room。本文拆解 job_id、推理前鉴权、35 秒撤销窗口与 Fail Closed 设计,并给出企业 AI Agent 急停控制面的数据模型、FastAPI 参考实现、缓存撤销策略和故障演练清单。

jerry764的博客 345

面试真题集(十六):TensorRT基础

TensorRT面试真题解析:从模型优化到推理部署 本文精选了14道TensorRT面试题,涵盖选择题、简答题和场景题,深度考察推理工程师对TensorRT核心技术的理解。内容聚焦三个关键维度: 基础概念 FP16推理中Softmax层为何需保持FP32(数值稳定性) INT8校准原理(EntropyCalibrator2的鲁棒性优势) Plugin V3接口的构建/运行分离设计 性能优化 Conv-BN-ReLU融合减少40-60%延迟的关键机制(访存优化) 动态Shape配置策略(min/opt/max

PeterPan的博客 72

OpenClaw 深度调查:把 AI 助手做成你自己的控制平面

对 openclaw/openclaw 的完整技术尽调:Gateway 架构、Agent 运行时、工具与沙箱、30 个消息通道、181 个插件、安全信任边界、工程代价与采用建议。17 章 / 10 张图,全部数字标注口径,数据截至 2026-10-31。

厚积薄发 363

TIA博途中S7-1200进行MODBUS TCP通信(作为服务器)的具体方法演示

TIA博途中S7-1200进行MODBUS TCP通信(作为服务器)的具体方法演示

Robot_PLC_HMI_Automation 8619

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

AI赋能智慧港口建设|造形家快速生成港口全要素三维场景

随着智慧港口、港口数字孪生项目的持续推进,港口三维场景的需求日益旺盛。传统港口三维建模,往往需要航拍倾斜摄影采集数据,再人工搭建吊机、岸桥、船舶、集装箱等大量工业设施模型,项目周期长、人力成本高,修改迭代繁琐,制约港口可视化项目落地效率。国产AI三维建模工具,依托卫星影像 AI 识别能力,无需航拍作业,一键快速搭建港口完整三维场景,为港口数字孪生、方案汇报、投标演示提供高效的场景解决方案。

m0_69539167的博客 87

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

从设备增点到治理闭环:老旧小区物业数智化落地实践

系统连接合同审批、银行流水、收费记录与项目台账,执行到期提醒、收入核验、异常标色和月度对账,让每一笔资金来源明确、去向可查。针对设施老旧、诉求响应慢、公共收益不透明等问题,津南以6类小区为试点场景,统一建设物业数字化底座,关联楼栋、单元、房屋、业主、空间、设施设备、工单、公共收益等核心数据。系统采用统一编码管理,将摄像头、路灯、井盖、道路、绿化等设施纳入资产台账,解决纸质记录更新滞后、故障责任难追溯的问题。基于历史工单建立分类模型和知识库,辅助识别照明、给排水、电梯、环境秩序、秩序维护等问题;

wuyeshuzhihua的博客 163

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

企业微信iPad协议详解:接口接入、实时消息同步与语音转码实践

深入解析企业微信iPad协议的技术架构与开发思路,涵盖API接口接入、长连接通信、实时消息同步、Silk语音转码、异常重连及高并发优化,帮助开发者了解企业微信自动化系统的设计与实现。

欢迎来到祖安! 514

Product Hunt 热榜 2026-11-13:Plurai Simulation、YouArt Desktop App、Omnigraph

2026-11-13 Product Hunt 新产品精选:Plurai Simulation、YouArt Desktop App、Omnigraph。汇总 15 款产品的中文介绍、功能关键词和产品链接。

LaughingZhu的博客 619

【AI Agent面试系列】AI Agent可观测、评测、安全相关的知识点

之前的文章介绍了和,本文主要介绍AI Agent的测评、可观测等知识。

408

Docling 原理解读:是什么、为什么、怎么样

从论文视角拆解 Docling 的整体架构、DoclingDocument 数据模型、PDF 预处理、版面分析、OCR、TableFormer 双解码器、阅读顺序与装配流程,并解释版面框与 OCR 框的区别。

PLANTTHESON的博客 402

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程

WorkBuddy 实战:一句话需求 → 七屏可交互原型,户外徒步 App 的 AI 设计全流程,跟着博主一起来还原整个过程。

夜郎King的博客 5168

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 573

企业宣传片发前如何批量排查并遮挡视频里的敏感信息

做企业视频的人都会碰到一个具体问题:实拍画面里混进了不该出现的信息。办公室背景里有贴着客户信息的白板,采访对象的授权书边缘露出一串身份证号码,街采素材里路人面孔和车牌号直接入镜。人眼在时间线上扫视,会漏掉快速闪过的帧、画面边缘的小字、以及暗光区域里的证件号码。用抹影AI完成车牌、人脸和证件区域批量检测后,又手动补充了两个时间段的屏幕遮罩,最终导出时画面已无合规隐患。重点关注快速运动、遮挡、低光照条件下的目标,这些是漏检的高发区域。导入视频后选择要检测的目标类型(人脸、车牌、证件号、二维码等)。

Mysssone的博客 182

面向工业对讲的双通道声学 DSP 模组 A-59(NR2050-A)方案解析与工程落地案例

A-59模组以NR2050-A DSP为核心,37.5×16mm邮票孔封装,支持-40℃~85℃工业温域,兼容A-06/A-09/A-29系列,可低成本替换存量设备。通过固件切换实现三种模式:模式一(低改版成本,适配矿井、电梯);模式二(最优AEC,用于医院呼叫);模式三(双波束独立输出,支持双人会议语音分离)。集成AEC、ENC、BF与AGC算法,有效抑制回声、噪声与串扰,解决对讲系统核心声学难题。选型需注意参考信号路径、麦间距与温度匹配,建议先做声学测试再量产。

R190_6589的博客 374

SAP商业AI正式通过网信备案:企业落地AI五问

中数通“CDC商业AI”通过广东网信部门备案,标志着SAP商业AI在华本地化迈出关键一步。然而,合规仅是起点,企业真正需关注的是:AI能否融入核心流程、数据治理是否健全、责任归属是否清晰、价值衡量机制是否建立。从“可用”到“用好”,关键在于工作流重构、跨团队协同与业务结果导向的评估体系。国产模型成本优势与本地部署能力为ERP深度集成提供可能,但真正的竞争力仍在于对数据、流程与业务上下文的理解力。

Acloudear的博客 215
上一篇: AI Agent成本失控:从“月底账单惊吓“到Token治理
下一篇: 2026年了,还在靠“换更强的模型“提升Agent性能?Harness工程才是真正的分水岭
AgentInsight
博客等级 码龄164天 0粉丝 18原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值