<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[whweia的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/whweia</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; whweia]]></copyright><item><title><![CDATA[Agent 评测到底怎么做？我从一条真实需求里跑通了完整链路]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/166252832</link><guid>https://blog.youkuaiyun.com/whweia/article/details/166252832</guid><author>whweia</author><pubDate>Mon, 21 Sep 2026 18:49:17 +0800</pubDate><description><![CDATA[本文分享了在Agent能力测试中从普通功能测试向可复现、可归因的Agent Evaluation转型的实践。针对自然语言操作Dashboard卡片场景，提出“测试准入”机制，明确6项最小条件：入口可用、账号状态一致、状态可读取、数据可验证、异步信号可靠、失败可恢复。强调通过“GoldenCase”验证整条链路，构建Controllability、Observability、Judgeability三要素。]]></description><category></category></item><item><title><![CDATA[Agentic Coding 协作指南：什么时候探索、规划、执行与持续推进]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/165861369</link><guid>https://blog.youkuaiyun.com/whweia/article/details/165861369</guid><author>whweia</author><pubDate>Fri, 18 Sep 2026 11:39:35 +0800</pubDate><description><![CDATA[Agentic Coding 可以理解为：人明确目标、边界和验收，Agent 使用工具探索代码、实施改动、读取运行结果并继续修正，人根据证据引导和检查。先验证正确输入应过、错误输入应失败，再实现。有一组相互关联的工作需要持续执行，目标与验收稳定，环境和反馈可用，希望 Agent 在检查点之间自行推进。按已确认口径拆分目标和预计时长，更新 Generator、解析及断言，补正常和应失败反例，跑相关回归，把问题、改法和证据写回原文档。核对原始输出、工具观察、Prompt 和断言，先定位漏检与错误声明的依据。]]></description><category></category></item><item><title><![CDATA[从零散使用 AI，到可复用工作流：怎样一步步改进整个工作流]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/165860742</link><guid>https://blog.youkuaiyun.com/whweia/article/details/165860742</guid><author>whweia</author><pubDate>Fri, 18 Sep 2026 11:36:26 +0800</pubDate><description><![CDATA[制造业流水线提供了一个直观比喻：工作对象在不同岗位间流转，每个岗位接收上一站的成果，完成自己的处理，再交给下一站。这个比喻帮助我们看到交接，但知识工作会遇到需求变化、评审退回和新问题，不能只画一条从左到右的直线。研究新案例时可以问：原来怎样做，重构后实际改变了什么，依赖哪些条件，人还在哪里投入，异常怎样处理，证据如何保存，周期、质量和复核成本如何变化？从需求原文、评审意见、场景、执行材料和报告，还原当时的经过。候选可能是需求变更影响分析、评审意见同步、场景到请求数据的映射，也可能是执行结果到报告的整理。]]></description><category></category></item><item><title><![CDATA[AI 应用要过审，那几千条安全测试用例从哪来]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/165751260</link><guid>https://blog.youkuaiyun.com/whweia/article/details/165751260</guid><author>whweia</author><pubDate>Thu, 17 Sep 2026 16:45:55 +0800</pubDate><description><![CDATA[合规要求会变。附件已经从第 1 期出到第 13 期，每两个月一期；法规也在持续叠加。任何具体的数字、清单、阈值，都要以官方最新发布为准，我这篇里引的也一样。先枚举风险类型，再从三个方向推导用例，用覆盖矩阵验收，而不是用条数验收。这个推导方式，换个行业能用，换个版本也能用。至于那几千条用例从哪来——它们不是写出来的，是推出来的。注：本文引用的备案数据与政策表述来自国家网信办官网公开公告，写作时以最新一期为准。文中不涉及任何具体项目的用例内容、风险分类或测试结果。]]></description><category></category></item><item><title><![CDATA[使用Skill梳理一版目前招聘岗位中Agent评测的要求]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/164880079</link><guid>https://blog.youkuaiyun.com/whweia/article/details/164880079</guid><author>whweia</author><pubDate>Thu, 10 Sep 2026 20:15:50 +0800</pubDate><description><![CDATA[—— 阿里。]]></description><category></category></item><item><title><![CDATA[AI Evaluation Engineer 的 AI 使用能力模型]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/164716759</link><guid>https://blog.youkuaiyun.com/whweia/article/details/164716759</guid><author>whweia</author><pubDate>Wed, 09 Sep 2026 09:44:13 +0800</pubDate><description><![CDATA[我们需根据用户要求，基于给定内容生成摘要≤150字。内容是关于AI测评工程师能力层级的讨论，分L1到L5。摘要需概括核心要点。注意字数限制。可以用简洁语言。还要以“根据以下内容，生成≤150字的文章摘要”为指令。我们应直接输出摘要。AI评测工程师的AI能力分五级：L1使用AI工具，区分度低；L2用AI完成独立评测任务；L3让AI进入完整评测工作流，具简历价值；L4用AI发现失败模式与评测规律；L5将数据集、评分、回归沉淀为可持续运行的评测系统。]]></description><category></category></item><item><title><![CDATA[AI 时代，测试工程师到底怎么描述自己的 AI 使用能力？]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/164431044</link><guid>https://blog.youkuaiyun.com/whweia/article/details/164431044</guid><author>whweia</author><pubDate>Sun, 06 Sep 2026 21:51:50 +0800</pubDate><description><![CDATA[优先写：自动化脚本测试框架测试工具CI/CD测试规则回归资产可复用 Workflow如果确实有真实数据，再写效率。不要为了显得厉害就随便写：效率提升 50%。以前大家喜欢写：也就是：AI 熟练度。Leverage，本意是杠杆。你能通过 AI 放大多少自己的工程产出。所以未来真正拉开差距的，可能不是：谁知道更多 AI 工具。而是：谁能给 AI 更好的 Context；谁能把 AI 接进更完整的 Workflow；谁能更可靠地验证 AI 输出；]]></description><category></category></item><item><title><![CDATA[AI 时代，软件测试除了生成用例和自动化脚本，还能做什么？]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/164430748</link><guid>https://blog.youkuaiyun.com/whweia/article/details/164430748</guid><author>whweia</author><pubDate>Sun, 06 Sep 2026 21:22:15 +0800</pubDate><description><![CDATA[AI 对传统测试真正有意思的地方，我觉得并不是：AI 会不会把测试工程师替代掉。这个问题现在讨论意义没那么大。以前一个测试工程师需要自己完成的需求理解、影响分析、测试设计、脚本开发、失败定位和结果整理，现在有哪些环节可以让 AI 一起参与？如果只是：ChatGPT → 生成 Case很快就会发现没什么东西可讲。需求、Repo、Code Diff、接口、Log、历史 Case、项目规则AI 处理 → 实际执行 → 人工验证 → 错误反馈 → 再迭代这时候 AI 才真正开始进入软件测试的工作流。]]></description><category></category></item><item><title><![CDATA[Agent评测全流程实战——从需求到断言到自动化的迭代流程]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163746728</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163746728</guid><author>whweia</author><pubDate>Fri, 14 Aug 2026 10:25:02 +0800</pubDate><description><![CDATA[这篇文章针对AI测试工程师（尤其是传统测试转型者）提供了一套可复用的Agent评测实战流程框架。核心解决评测过程中流程模糊、效率低下的问题，包含5个关键阶段：1.需求熟悉阶段需特别关注配置驱动的行为和多region差异；2.场景梳理采用传统用例设计方法，重点处理自然语言意图的模糊性；3.断言设计采用三层结构（链路/结构/业务层），根据类型制定松紧度标准；4.脚本生成采用分层防幻觉方法；5.通过率需提前定义规则，并建立BadCase闭环机制。]]></description><category></category></item><item><title><![CDATA[AI算法评测组的独立价值在哪？——从健身动作识别/纠正项目复盘五层评测能力模型 ＞ 算法组的KR是”准确率达标”，评测组的KR到底算啥？本文从一个真实CV项目出发，梳理评测组独立于算法组的五层价]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163745545</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163745545</guid><author>whweia</author><pubDate>Fri, 14 Aug 2026 09:52:53 +0800</pubDate><description><![CDATA[算法准确率是算法的KR，评测组的独立价值在哪？层级核心问题评测组的独立价值评测集/数据集用什么数据来考？覆盖度、代表性、版本化判定器可靠性怎么判定对不对？口径正确性、可复现性平台化/可回归能不能自动跑？评测基础设施多维评测设计看哪些维度？多维能力地图Bad Case闭环线上怎么兜住？持续改进闭环算法组负责让模型跑出好的分数，评测组负责让”分数”这件事本身可信、可复现、可持续改进。这是两件不同的事，也是评测组存在的理由。]]></description><category></category></item><item><title><![CDATA[AI Agent 评测的通过率，到底应该怎么算？]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163729966</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163729966</guid><author>whweia</author><pubDate>Thu, 13 Aug 2026 16:50:50 +0800</pubDate><description><![CDATA[产品问通过率多少，我说 80%，他说怎么这么低。我说其实核心功能没坏，主要是大模型 Judge 判了很多 FAIL。他说那到底能不能上？我答不上来。因为 80% 这个数字，把功能错误、语义质量、Judge 误判、环境异常全塞在一起，它已经失真了——产品看到的是"20% 坏了"，事实是"核心业务可能只坏了 3%"。 这篇讲的就是：怎么让通过率重新变成一个能支撑决策的数字。]]></description><category></category></item><item><title><![CDATA[AI Agent 评测最难的不是写数据集和 Case，而是先搞清楚什么能断言]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163728559</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163728559</guid><author>whweia</author><pubDate>Thu, 13 Aug 2026 16:07:13 +0800</pubDate><description><![CDATA[文章摘要：作者通过两个AIAgent评测项目的实践，总结出AI测试的核心挑战在于如何定义&quot;正确&quot;标准。传统测试依赖明确输入输出，而AIAgent的&quot;合理性&quot;判断需要分层处理：1）用户可见的基础功能必须正确（硬性规则）；2）用户明确需求需满足（可观测字段判断）；3）质量优化部分才用LLM Judge。关键启示是应从终端用户体验反推测试标准，保存原始执行数据实现评测解耦，避免过度依赖Judge导致通过率失真。AI测试的本质是将模糊需求转化为可验证标准的能力。]]></description><category></category></item><item><title><![CDATA[测试工程师用 AI，提效是最浅的一层]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163728127</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163728127</guid><author>whweia</author><pubDate>Thu, 13 Aug 2026 15:53:19 +0800</pubDate><description><![CDATA[摘要： 面试中回答“如何用AI提效”时，多数人强调生成用例、写脚本等执行层效率提升，但这恰恰暴露了自身的可替代性。真正的价值在于三层进阶： 提效（浅层）：AI加速执行，但仅此会加速被替代； 能力放大（中层）：将判断力固化为规则，AI批量执行，使个人覆盖原需团队的工作（如评测体系规模化）； 捅破天花板（深层）：用AI完成原无法独立完成的事（如从0建立评测标准、反向推动需求清晰化）。 关键点： 判断力是核心：AI无法替代业务逻辑、需求定义等深度判断，缺乏判断的AI输出易成“幻觉”。 ]]></description><category></category></item><item><title><![CDATA[AI Agent 评测最隐蔽的坑-记忆]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163674489</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163674489</guid><author>whweia</author><pubDate>Tue, 11 Aug 2026 19:41:10 +0800</pubDate><description><![CDATA[文章摘要：本文揭示了AI Agent测试中一个隐蔽问题——系统记忆对测试结果的潜在污染。作者通过实际案例说明，即使精确控制输入参数，Agent系统中的长期记忆（用户画像）和短期记忆（对话历史）仍会作为隐藏输入影响输出，导致测试结果不可复现。这种记忆污染具有累积性，会跨测试套件传播，使断言失效。解决方案包括：每条用例前验证清空记忆、隔离测试账号、建立失败熔断机制。文章指出Agent测试的核心挑战在于输入的不完全可控性，强调控制&quot;系统隐式输入&quot;比编写断言更重要，这是确保测试有效性的前提条件。]]></description><category></category></item><item><title><![CDATA[AI 生成的测试脚本为什么全是幻觉？一次踩坑复]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163540203</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163540203</guid><author>whweia</author><pubDate>Thu, 06 Aug 2026 17:23:33 +0800</pubDate><description><![CDATA[摘要： AI生成测试脚本时出现幻觉问题，根源在于跳过业务事实、期望声明、数据边界和验证标准四层人工确认环节，导致AI自行猜测字段、规则和断言。解决方案包括：1）结构化Case设计，确保每项有明确来源；2）拆分断言引擎为Case声明与执行，支持多种判定模式；3）交叉验证AI生成的summary与实际数据；4）严格Mock准入流程，逐条闭环验证。最终将AI角色限制为“翻译器”而非“决策器”，显著降低幻觉率。核心教训：需补全人工确认层，压缩AI猜测空间。]]></description><category></category></item><item><title><![CDATA[AI 每次输出都不一样，断言到底该写多严？]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163539283</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163539283</guid><author>whweia</author><pubDate>Thu, 06 Aug 2026 16:53:39 +0800</pubDate><description><![CDATA[本文探讨了AI测试中断言设计的核心挑战——如何平衡严格性与灵活性。作者将业务断言分为三类：1）意图违反类（必须严格断言，如用户明确禁止的行为）；2）程度量级类（设置合理边界区间，如&quot;轻松一点&quot;的训练量调整）；3）语义质量类（需LLM或人工判断）。通过实际案例展示了这三类断言如何协同工作，并强调断言松紧本质是定义产品的业务边界，这是AI测试中最需要人工判断的关键环节。不同行业的差异仅在于三类断言占比不同，方法论具有普适性。最后建议在断言引擎中为每条检查标注判定模式，实现自动化执行。]]></description><category></category></item><item><title><![CDATA[AI Agent 断言不神秘：状态码→格式→业务，三层其实没变]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163538971</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163538971</guid><author>whweia</author><pubDate>Thu, 06 Aug 2026 16:36:59 +0800</pubDate><description><![CDATA[本文揭示了AIAgent评测断言引擎与传统接口测试的底层一致性。通过三层结构分析： 1）链路层（状态码等效）检查调用链完整性； 2）结构层验证数据格式； 3）业务层处理具体需求。40种断言类型中，34种为确定性规则，仅6种需弹性处理。关键突破在于业务层需区分三种判定模式：固定规则（80%场景）、有界宽区间（弹性需求）和LLM裁判（语义判断）。实际应用中，前两层可直接复用传统方法，第三层需结合业务特性设计弹性边界，LLM仅作为安全网用于合规检查。]]></description><category></category></item><item><title><![CDATA[AI Agent 评测其实没有新方法论：三层断言、等价类、边界值都在]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163538518</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163538518</guid><author>whweia</author><pubDate>Thu, 06 Aug 2026 16:17:14 +0800</pubDate><description><![CDATA[摘要： AIAgent评测的90%逻辑与传统测试一致，核心差异在于10%的不确定性处理。评测分为三层断言：链路层（状态码）、结构层（格式校验）和业务层（意图验证），前两层可直接复用传统方法，难点在于业务层的松紧度设计——需区分“方向性错误”（严断）、“程度差异”（宽区间）和“语义质量”（人工/LLM裁判）。用例设计沿用等价类、边界值等方法，但输入变为自然语言意图，划分更模糊。Mock需分层组装，避免AI幻觉。关键原则是“人定规则，AI执行”，判断力来自业务经验，而非工具本身。]]></description><category></category></item><item><title><![CDATA[AI 时代，普通人如何用「提问」逼近天才的认知密度——从杨植麟本科演讲说起]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163097619</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163097619</guid><author>whweia</author><pubDate>Wed, 22 Jul 2026 09:48:29 +0800</pubDate><description><![CDATA[AI时代缩小了获取答案的差距，但放大了提出优质问题的能力鸿沟。杨植麟的成长路径显示，真正的差距在于"问题暴露密度"和"反馈循环速度"，而非智商。文章提出利用AI突破认知边界的三大方法：1）认知升维，从执行者跃迁至设计者视角；2）跨域嫁接，移植其他领域方法论；3）反共识推演，主动寻找对立观点。并给出四层提问框架（事实层→元认知层）和每周30分钟的"非功利性对话"实践建议。AI的本质价值在于扩展认知边界，关键在于选择将AI用作认知杠杆还是高级搜索引擎。]]></description><category></category></item><item><title><![CDATA[从零设计 Agent 评测数据集：分层、覆盖、断言与持续回流]]></title><link>https://blog.youkuaiyun.com/whweia/article/details/163015768</link><guid>https://blog.youkuaiyun.com/whweia/article/details/163015768</guid><author>whweia</author><pubDate>Sun, 19 Jul 2026 11:47:07 +0800</pubDate><description><![CDATA[本文总结了AI Agent评测数据集的7个关键实践：1. 从任务决策结构出发设计数据，区分意图识别和执行型任务的不同需求；2. 每条数据应包含完整评测契约，明确来源、预期和断言规则；3. 优先使用真实数据，AI仅用于表达扩展；4. 通过覆盖矩阵控制数据量，关注核心风险等价类；5. 用标签实现数据分层管理；6. 分离原始数据、用例、输出和报告；7. 建立从Bad Case回流的持续优化机制。文章强调数据集应是可判定、可追溯的风险契约，而非简单堆砌查询语句，AI仅辅助表达扩展，核心判断仍需人工完成。]]></description><category></category></item></channel></rss>