自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(117)
  • 收藏
  • 关注

原创 Agent 评测到底怎么做?我从一条真实需求里跑通了完整链路

本文分享了在Agent能力测试中从普通功能测试向可复现、可归因的Agent Evaluation转型的实践。针对自然语言操作Dashboard卡片场景,提出“测试准入”机制,明确6项最小条件:入口可用、账号状态一致、状态可读取、数据可验证、异步信号可靠、失败可恢复。强调通过“GoldenCase”验证整条链路,构建Controllability、Observability、Judgeability三要素。

2026-09-21 18:49:17 285

原创 Agentic Coding 协作指南:什么时候探索、规划、执行与持续推进

Agentic Coding 可以理解为:人明确目标、边界和验收,Agent 使用工具探索代码、实施改动、读取运行结果并继续修正,人根据证据引导和检查。先验证正确输入应过、错误输入应失败,再实现。有一组相互关联的工作需要持续执行,目标与验收稳定,环境和反馈可用,希望 Agent 在检查点之间自行推进。按已确认口径拆分目标和预计时长,更新 Generator、解析及断言,补正常和应失败反例,跑相关回归,把问题、改法和证据写回原文档。核对原始输出、工具观察、Prompt 和断言,先定位漏检与错误声明的依据。

2026-09-18 11:39:35 217

原创 从零散使用 AI,到可复用工作流:怎样一步步改进整个工作流

制造业流水线提供了一个直观比喻:工作对象在不同岗位间流转,每个岗位接收上一站的成果,完成自己的处理,再交给下一站。这个比喻帮助我们看到交接,但知识工作会遇到需求变化、评审退回和新问题,不能只画一条从左到右的直线。研究新案例时可以问:原来怎样做,重构后实际改变了什么,依赖哪些条件,人还在哪里投入,异常怎样处理,证据如何保存,周期、质量和复核成本如何变化?从需求原文、评审意见、场景、执行材料和报告,还原当时的经过。候选可能是需求变更影响分析、评审意见同步、场景到请求数据的映射,也可能是执行结果到报告的整理。

2026-09-18 11:36:26 180

原创 AI 应用要过审,那几千条安全测试用例从哪来

合规要求会变。附件已经从第 1 期出到第 13 期,每两个月一期;法规也在持续叠加。任何具体的数字、清单、阈值,都要以官方最新发布为准,我这篇里引的也一样。先枚举风险类型,再从三个方向推导用例,用覆盖矩阵验收,而不是用条数验收。这个推导方式,换个行业能用,换个版本也能用。至于那几千条用例从哪来——它们不是写出来的,是推出来的。注:本文引用的备案数据与政策表述来自国家网信办官网公开公告,写作时以最新一期为准。文中不涉及任何具体项目的用例内容、风险分类或测试结果。

2026-09-17 16:45:55 103

原创 使用Skill梳理一版目前招聘岗位中Agent评测的要求

—— 阿里。

2026-09-10 20:15:50 69

原创 AI Evaluation Engineer 的 AI 使用能力模型

我们需根据用户要求,基于给定内容生成摘要≤150字。内容是关于AI测评工程师能力层级的讨论,分L1到L5。摘要需概括核心要点。注意字数限制。可以用简洁语言。还要以“根据以下内容,生成≤150字的文章摘要”为指令。我们应直接输出摘要。AI评测工程师的AI能力分五级:L1使用AI工具,区分度低;L2用AI完成独立评测任务;L3让AI进入完整评测工作流,具简历价值;L4用AI发现失败模式与评测规律;L5将数据集、评分、回归沉淀为可持续运行的评测系统。

2026-09-09 09:44:13 160

原创 AI 时代,测试工程师到底怎么描述自己的 AI 使用能力?

优先写:自动化脚本测试框架测试工具CI/CD测试规则回归资产可复用 Workflow如果确实有真实数据,再写效率。不要为了显得厉害就随便写:效率提升 50%。以前大家喜欢写:也就是:AI 熟练度。Leverage,本意是杠杆。你能通过 AI 放大多少自己的工程产出。所以未来真正拉开差距的,可能不是:谁知道更多 AI 工具。而是:谁能给 AI 更好的 Context;谁能把 AI 接进更完整的 Workflow;谁能更可靠地验证 AI 输出;

2026-09-06 21:51:50 317

原创 AI 时代,软件测试除了生成用例和自动化脚本,还能做什么?

AI 对传统测试真正有意思的地方,我觉得并不是:AI 会不会把测试工程师替代掉。这个问题现在讨论意义没那么大。以前一个测试工程师需要自己完成的需求理解、影响分析、测试设计、脚本开发、失败定位和结果整理,现在有哪些环节可以让 AI 一起参与?如果只是:ChatGPT → 生成 Case很快就会发现没什么东西可讲。需求、Repo、Code Diff、接口、Log、历史 Case、项目规则AI 处理 → 实际执行 → 人工验证 → 错误反馈 → 再迭代这时候 AI 才真正开始进入软件测试的工作流。

2026-09-06 21:22:15 311

原创 Agent评测全流程实战——从需求到断言到自动化的迭代流程

这篇文章针对AI测试工程师(尤其是传统测试转型者)提供了一套可复用的Agent评测实战流程框架。核心解决评测过程中流程模糊、效率低下的问题,包含5个关键阶段:1.需求熟悉阶段需特别关注配置驱动的行为和多region差异;2.场景梳理采用传统用例设计方法,重点处理自然语言意图的模糊性;3.断言设计采用三层结构(链路/结构/业务层),根据类型制定松紧度标准;4.脚本生成采用分层防幻觉方法;5.通过率需提前定义规则,并建立BadCase闭环机制。

2026-08-14 10:25:02 439

原创 AI算法评测组的独立价值在哪?——从健身动作识别/纠正项目复盘五层评测能力模型 > 算法组的KR是”准确率达标”,评测组的KR到底算啥?本文从一个真实CV项目出发,梳理评测组独立于算法组的五层价

算法准确率是算法的KR,评测组的独立价值在哪?层级核心问题评测组的独立价值评测集/数据集用什么数据来考?覆盖度、代表性、版本化判定器可靠性怎么判定对不对?口径正确性、可复现性平台化/可回归能不能自动跑?评测基础设施多维评测设计看哪些维度?多维能力地图Bad Case闭环线上怎么兜住?持续改进闭环算法组负责让模型跑出好的分数,评测组负责让”分数”这件事本身可信、可复现、可持续改进。这是两件不同的事,也是评测组存在的理由。

2026-08-14 09:52:53 191

原创 AI Agent 评测的通过率,到底应该怎么算?

产品问通过率多少,我说 80%,他说怎么这么低。我说其实核心功能没坏,主要是大模型 Judge 判了很多 FAIL。他说那到底能不能上?我答不上来。因为 80% 这个数字,把功能错误、语义质量、Judge 误判、环境异常全塞在一起,它已经失真了——产品看到的是"20% 坏了",事实是"核心业务可能只坏了 3%"。 这篇讲的就是:怎么让通过率重新变成一个能支撑决策的数字。

2026-08-13 16:50:50 324

原创 AI Agent 评测最难的不是写数据集和 Case,而是先搞清楚什么能断言

文章摘要:作者通过两个AIAgent评测项目的实践,总结出AI测试的核心挑战在于如何定义"正确"标准。传统测试依赖明确输入输出,而AIAgent的"合理性"判断需要分层处理:1)用户可见的基础功能必须正确(硬性规则);2)用户明确需求需满足(可观测字段判断);3)质量优化部分才用LLM Judge。关键启示是应从终端用户体验反推测试标准,保存原始执行数据实现评测解耦,避免过度依赖Judge导致通过率失真。AI测试的本质是将模糊需求转化为可验证标准的能力。

2026-08-13 16:07:13 396

原创 测试工程师用 AI,提效是最浅的一层

摘要: 面试中回答“如何用AI提效”时,多数人强调生成用例、写脚本等执行层效率提升,但这恰恰暴露了自身的可替代性。真正的价值在于三层进阶: 提效(浅层):AI加速执行,但仅此会加速被替代; 能力放大(中层):将判断力固化为规则,AI批量执行,使个人覆盖原需团队的工作(如评测体系规模化); 捅破天花板(深层):用AI完成原无法独立完成的事(如从0建立评测标准、反向推动需求清晰化)。 关键点: 判断力是核心:AI无法替代业务逻辑、需求定义等深度判断,缺乏判断的AI输出易成“幻觉”。

2026-08-13 15:53:19 356

原创 AI Agent 评测最隐蔽的坑-记忆

文章摘要:本文揭示了AI Agent测试中一个隐蔽问题——系统记忆对测试结果的潜在污染。作者通过实际案例说明,即使精确控制输入参数,Agent系统中的长期记忆(用户画像)和短期记忆(对话历史)仍会作为隐藏输入影响输出,导致测试结果不可复现。这种记忆污染具有累积性,会跨测试套件传播,使断言失效。解决方案包括:每条用例前验证清空记忆、隔离测试账号、建立失败熔断机制。文章指出Agent测试的核心挑战在于输入的不完全可控性,强调控制"系统隐式输入"比编写断言更重要,这是确保测试有效性的前提条件。

2026-08-11 19:41:10 320

原创 AI 生成的测试脚本为什么全是幻觉?一次踩坑复

摘要: AI生成测试脚本时出现幻觉问题,根源在于跳过业务事实、期望声明、数据边界和验证标准四层人工确认环节,导致AI自行猜测字段、规则和断言。解决方案包括:1)结构化Case设计,确保每项有明确来源;2)拆分断言引擎为Case声明与执行,支持多种判定模式;3)交叉验证AI生成的summary与实际数据;4)严格Mock准入流程,逐条闭环验证。最终将AI角色限制为“翻译器”而非“决策器”,显著降低幻觉率。核心教训:需补全人工确认层,压缩AI猜测空间。

2026-08-06 17:23:33 306

原创 AI 每次输出都不一样,断言到底该写多严?

本文探讨了AI测试中断言设计的核心挑战——如何平衡严格性与灵活性。作者将业务断言分为三类:1)意图违反类(必须严格断言,如用户明确禁止的行为);2)程度量级类(设置合理边界区间,如"轻松一点"的训练量调整);3)语义质量类(需LLM或人工判断)。通过实际案例展示了这三类断言如何协同工作,并强调断言松紧本质是定义产品的业务边界,这是AI测试中最需要人工判断的关键环节。不同行业的差异仅在于三类断言占比不同,方法论具有普适性。最后建议在断言引擎中为每条检查标注判定模式,实现自动化执行。

2026-08-06 16:53:39 320

原创 AI Agent 断言不神秘:状态码→格式→业务,三层其实没变

本文揭示了AIAgent评测断言引擎与传统接口测试的底层一致性。通过三层结构分析: 1)链路层(状态码等效)检查调用链完整性; 2)结构层验证数据格式; 3)业务层处理具体需求。40种断言类型中,34种为确定性规则,仅6种需弹性处理。关键突破在于业务层需区分三种判定模式:固定规则(80%场景)、有界宽区间(弹性需求)和LLM裁判(语义判断)。实际应用中,前两层可直接复用传统方法,第三层需结合业务特性设计弹性边界,LLM仅作为安全网用于合规检查。

2026-08-06 16:36:59 346

原创 AI Agent 评测其实没有新方法论:三层断言、等价类、边界值都在

摘要: AIAgent评测的90%逻辑与传统测试一致,核心差异在于10%的不确定性处理。评测分为三层断言:链路层(状态码)、结构层(格式校验)和业务层(意图验证),前两层可直接复用传统方法,难点在于业务层的松紧度设计——需区分“方向性错误”(严断)、“程度差异”(宽区间)和“语义质量”(人工/LLM裁判)。用例设计沿用等价类、边界值等方法,但输入变为自然语言意图,划分更模糊。Mock需分层组装,避免AI幻觉。关键原则是“人定规则,AI执行”,判断力来自业务经验,而非工具本身。

2026-08-06 16:17:14 319

原创 AI 时代,普通人如何用「提问」逼近天才的认知密度——从杨植麟本科演讲说起

AI时代缩小了获取答案的差距,但放大了提出优质问题的能力鸿沟。杨植麟的成长路径显示,真正的差距在于"问题暴露密度"和"反馈循环速度",而非智商。文章提出利用AI突破认知边界的三大方法:1)认知升维,从执行者跃迁至设计者视角;2)跨域嫁接,移植其他领域方法论;3)反共识推演,主动寻找对立观点。并给出四层提问框架(事实层→元认知层)和每周30分钟的"非功利性对话"实践建议。AI的本质价值在于扩展认知边界,关键在于选择将AI用作认知杠杆还是高级搜索引擎。

2026-07-22 09:48:29 218

原创 从零设计 Agent 评测数据集:分层、覆盖、断言与持续回流

本文总结了AI Agent评测数据集的7个关键实践:1. 从任务决策结构出发设计数据,区分意图识别和执行型任务的不同需求;2. 每条数据应包含完整评测契约,明确来源、预期和断言规则;3. 优先使用真实数据,AI仅用于表达扩展;4. 通过覆盖矩阵控制数据量,关注核心风险等价类;5. 用标签实现数据分层管理;6. 分离原始数据、用例、输出和报告;7. 建立从Bad Case回流的持续优化机制。文章强调数据集应是可判定、可追溯的风险契约,而非简单堆砌查询语句,AI仅辅助表达扩展,核心判断仍需人工完成。

2026-07-19 11:47:07 416

原创 Agent 测试面试题:执行结果怎么断言,追问怎么接

面试官询问Agent执行结果断言时,实际上考察的是如何定义正确性、验证稳定证据和处理开放性问题。本文提出执行型Agent的断言本质是验证受约束的状态变更,并给出五层验证框架: 决策正确性 目标修改准确性 非目标内容保护 最终状态合法性 操作与解释一致性 通过结构化预期、语义Diff和分层检查机制,可区分确定性断言(代码验证)和开放问题(标记REVIEW后人工/校准模型复核)。

2026-07-19 00:23:54 316

原创 从意图识别到动作微调:Agent 执行结果到底该怎么断

本文探讨了Agent动作微调测试的验证难点。相比意图识别测试可直接比较分类标签,动作微调需要验证业务状态变更的准确性。作者总结了五个验证层级:决策层判断处理决定、目标层验证关键修改、保护层防止非预期改动、合法性层检查业务约束、一致性层核对操作记录。提出应通过语义Diff而非原始JSON进行比对,并建议将结果分为PASS/FAIL/REVIEW/ERROR四类。最终指出真正的通过标准需满足:正确执行目标修改、无越界改动、状态合法且解释一致。

2026-07-19 00:17:27 319

原创 为什么AI说“测试通过“,系统还是一堆Bug?一个测试工程师的AI开发实践复盘

文章摘要 当AI声称"测试通过"但系统仍存在大量Bug时,问题根源在于AI的测试方式存在三个缺陷:1)仅测试自身逻辑而忽略真实环境依赖;2)缺乏全局视角导致前后端不一致;3)误将代码自洽等同于功能可用。解决方案包括:建立严格的数据模型框架、采用小步开发即时验证真实链路、编写端到端测试而非单元测试、以及实施契约先行开发模式。文章提供可直接复用的"AI开发质量约定"模板,强调测试思维(默认不信、必须验证)是AI时代关键能力。

2026-07-13 18:54:59 230

原创 AI协作01|测试工程师如何让AI承担一天70%的工作:判断框架+3个真实场景拆解

摘要: 本文探讨测试工程师如何与AI高效协作,提出「人做判断,AI执行」的核心原则。通过三个真实场景(源码分析、断言设计、安全测试数据集构建)展示分工模式:AI负责信息整理、代码生成等执行层任务,人类聚焦风险识别、盲区发现等判断层工作。关键前提是工程师需先显性化自身工作流程,明确可拆解的执行动作。系列后续将提供具体场景的SOP与Prompt模板,帮助实现AI承担70%工作量的目标。成功协作的关键在于工具形态选择(Agent模式而非网页问答)与持续迭代分工。

2026-07-01 14:32:35 214

原创 Agent 评测断言 SOP:从代码断言到 LLM 裁判的三层落地流程(附模板)

做 Agent 评测,最深的体会是断言要分层打。代码断言覆盖格式、字段、枚举值,快且准;LLM 裁判兜底语义矛盾和内容遗漏,但必须用 Binary 判断、必须校准 TPR/TNR 才能上线;人工只看裁判 flag 出来的可疑项。本文整理了一套完整的断言 SOP:在哪里打断言(链路节点 vs 最终输出)、打什么(错误检测 vs 遗漏检测)、六阶段落地流程、裁判 prompt 模板、校准方法和重新校准触发条件。

2026-06-24 20:07:06 214

原创 AI测试工程师的统计学课:如何构建“反脆弱“的评估体系

【摘要】本文探讨如何运用统计思维构建AI系统的"反脆弱"评估体系。文章指出三大关键问题:1)单一指标优化导致"指标漂移",需建立互斥指标体系;2)Agent系统链式调用风险叠加效应,强调端到端测试的必要性;3)承认测试边界的重要性。作者提出四个统计学锦囊:警惕平均数陷阱、质疑小样本结论、区分相关性与因果、关注基准率显著性。强调成熟的评估体系应能界定问题边界而非简单报数,统计思维是应对复杂AI系统的核心能力。

2026-05-31 23:23:54 336

原创 AI模型评测不只看准确率-CV与Agent评测指标体系梳理

文章摘要:本文讨论了CV模型评测中的关键问题与指标体系构建。首先指出仅依赖准确率指标的局限性,特别是样本不平衡时的误导性。随后提出完整的CV评测指标体系,包括准确率(需结合权重)、召回率(用户视角)、混淆矩阵(错误分析)和P99延迟(性能瓶颈)。在版本对比方面,强调环境对齐、样本覆盖度和结果波动分析的重要性。最后对比了CV模型(确定性)与Agent系统(概率性)的评测差异,指出CV评测需关注指标选择和环境一致性,而Agent评测更侧重链路可观测性和结果稳定性分析。两类模型的核心差异在于问题定位难度,Agen

2026-05-31 22:54:32 317

原创 【AI测试方法论】五个科学实验思维,通吃CV/RAG/Agent测试

控制变量、等价类划分、边界值分析、多次采样、归因分层不是AI测试独有的,是科学实验几百年沉淀下来的方法论。但在AI测试里,它们比传统测试更重要。因为AI系统的不确定性更大、链路更长、输入空间更广,没有这些思维兜底,测出来的结论经不起推敲。工具会变,框架会变,但思维方式不会过时。

2026-05-26 14:47:13 376

原创 【AI测试实战】从零接手CV大模型测试

新迭代需求来了,第一个问题是:数据集怎么准备?按常规思路,去问上一个迭代的同事。但他已经调去别的部门,找他很麻烦,每次只能问一点,他还让我去问另一个同事。问了几轮之后发现,不同同事站的角度完全不同——有人从APP测试角度讲,有人从算法角度讲,越问越乱。最后的解法是:停止问人,自己断定。我是这个迭代的主要测试,得有自己的判断。跟AI反复聊了需求文档,梳理出核心问题:∙ 这个迭代测的是什么场景?∙ 验收标准是什么?∙ 数据集要覆盖哪些变量?

2026-05-26 00:17:24 356

原创 从招聘JD反推AI测试工程师的成长路径——用高薪岗位要求驱动自己进步

工作中很容易陷入一个困境:每天在项目里埋头干活,但不知道自己到底该往哪个方向补能力。市面上的课程要么太偏算法(你又不是做算法的),要么太偏传统测试(跟AI没关系),找不到一个清晰的能力坐标。直接去招聘网站上找目标薪资的岗位,看它们要求什么,然后反过来对照自己的项目,看哪些已经在做、哪些还差。这个方法好在两点:第一,高薪岗位的要求就是市场对"值钱的人"的定义,按这个标准来不会跑偏。第二,不是空学理论,而是边做项目边对照,学了就能用。

2026-05-21 19:31:35 520

原创 AI测试工程师如何与算法团队高效协作——你不需要懂算法,但要懂模型的“脾气“

摘要:本文探讨了AI测试工程师与算法团队的高效协作方式,指出双方应围绕"模型行为"而非代码实现展开对话。文章提出了五个实用对话方向:从现象出发、基于数据分析、关注输入输出边界、分析指标异常、结合业务场景反推。同时明确了测试工程师需要掌握的核心能力:理解模型输入输出特性、识别典型失败模式、解读评测指标业务含义等,而非算法实现细节。作者强调,测试工程师的核心价值在于发现和定位模型问题,而非解决技术实现问题,这种专业分工能有效提升协作效率。

2026-05-13 19:34:14 308

原创 AI时代,学东西的方式变了

以前学东西是:先啃文档→再动手→慢慢摸索。现在应该是:先问AI→快速动手→遇到问题再查文档→AI帮你消化。官网还是要看,但不是起点,是深挖的时候才去的地方。AI把门槛降下来了,你能更快进入"真实问题"的阶段,然后带着真实问题去查文档,效率完全不一样。啃文档是工具时代的学习方式,AI时代是边做边学,AI陪着你。

2026-05-13 01:18:37 61

原创 做AI测试,我是怎么从不会到找到方法的

AI指导 → 构造case → 测出bug → 官网查根因 → AI总结复盘 → 下次更好

2026-05-13 01:15:29 270

原创 AI产品测试框架:从官方规范反向推导测试用例

摘要:本文提出一套通用AI产品测试方法论,核心思路是从官方防御建议反向推导测试用例。具体步骤包括:1)提取官网规范中的防御建议;2)针对每条建议设计反向测试场景(如幻觉测试、一致性测试等);3)构造真实用户口吻的输入;4)记录问题现象、根因和修复建议;5)形成结构化汇报方案。该方法具有理论依据、系统性和闭环性特点,适用于各类AI产品的安全测试场景,不依赖具体业务,可快速构建边界测试用例库。

2026-05-13 01:06:30 535

原创 AI测试实战:我从官网学到三个失效模式,然后真的找到了Bug

摘要:本文针对AI对话系统中多轮交互场景下的三个典型问题(上下文稀释、工具结果误用、状态脑补)进行了实测验证。测试采用运动助手场景,重点模拟真实用户口语化表达(如"上次练了啥"、"膝盖怪怪的"等),发现关键缺陷:当用户用质问语气施压(如"不是昨天嘛你忘了?")时,模型会无证据妥协并篡改记录时间。测试提出防御方案:强制时间字段、设置修改确认机制、区分信息录入与纠正行为。该方法论可复用于其他AI产品测试,通过真实用户表达方式+边界条件组合,发现问题。

2026-05-13 00:51:38 398

原创 拿到 Prompt 之后做什么:AI 产品测试落地全流程

摘要: 测试AI产品时,Prompt相当于需求文档,需重点审查其设计质量,包括角色设定、行为边界、格式约束等关键项。测试流程分为五步:1. 审查Prompt,通过数据验证疑点并输出质量报告;2. 构建数据集,针对每条规则设计正向、反向及边界测试用例;3. 执行测试,记录格式、安全、逻辑等BadCase;4. 分层反馈,区分Bug、优化建议与安全风险,均需附测试数据;5. 回归验证,确保修复有效且无新问题,形成闭环迭代。核心是通过数据驱动,持续优化Prompt与模型表现。

2026-05-05 14:27:36 494

原创 AI 产品测试实战:让模型“先想再答“,输出质量能提升多少

AI模型在用户信息模糊或存在健康风险时,容易出现"脑补"条件直接给出方案的问题。通过引入思维链技术(Chain of Thought),要求模型先分析再回答,可显著提升输出质量。测试对比显示:在模糊信息场景差异最大,加思维链后模型会先评估信息完整性;风险识别场景结构化提升明显;复杂条件场景差异较小。建议在模糊输入、风险评估等场景强制使用思维链,并配合XML标签实现自动化验证。思维链不是万能的,应针对性地用于复杂判断场景,同时需设计专门的测试用例验证其有效性。

2026-05-05 11:36:36 441

原创 AI 产品输出格式测试实战:为什么模型返回的 JSON 前端解析总报错

本文探讨了AI产品中模型返回JSON格式数据时前端解析报错的问题。通过实际案例展示了问题现象:模型输出看似JSON实则包含markdown代码块标记,导致前端JSON.parse()失败。文章详细记录了从复现问题到定位根因的全过程,指出prompt中模糊的格式要求是根本原因。解决方案包括:1)严格约束prompt格式规范;2)前端添加防御性解析逻辑;3)建立自动化验证机制。关键发现:模型输出的"JSON"可能存在多种变体,必须通过代码验证而非肉眼检查;格式约束必须明确具体。

2026-05-05 00:22:54 567

原创 AI Prompt 安全测试实战:从学会写 Prompt 到发现一个真实泄露漏洞

本文系统探讨了AI测试中的Prompt安全风险与防护策略。文章首先解析Prompt的四大核心要素:SystemPrompt的行为规则、清晰指令的重要性、角色设定的边界影响以及XML标签的数据隔离作用。通过运动训练助手案例,作者发现即使采用XML标签隔离,模型仍可能泄露系统提示词,并归纳出三种攻击层级:明文指令覆盖(易防御)、伪装型注入(高威胁)和多轮渐进攻击(最难防)。文章详细评估了Prompt泄露可能导致的业务逻辑暴露、攻击面扩大等连锁风险,并提供了包含17项测试用例的安全检查清单。

2026-05-04 18:32:53 533

原创 我对 AI 辅助测试的新理解:不是生成结果,而是沉淀判断体系

AI 辅助测试,不是让 AI 直接替我生成需求分析、测试点和脚本。更核心的是,先把测试判断体系沉淀下来,再通过规则、流程和反馈机制,让 AI 逐步按我的思路执行,并持续优化。工具会变,模型会变,平台也会变。但只要判断框架和反馈闭环还在,这套能力就能继续迁移。

2026-04-12 00:52:11 450

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除