- 博客(629)
- 收藏
- 关注
RSS订阅原创 「你会用 AI 吗」这题，答“会用“是最亏的答法
面试中“你会用AI吗”答“会”最亏，因考的是判断力而非技能。正确回答应明确使用边界：在写用例初稿、查API等场景可用，但涉及业务规则、数据安全或需人确认时不用，并强调验证输出（如边界测试）。三题核心皆非知识比拼，而是考察思维深度与边界感。答题要先结论后解释，主动设限，善用真实案例回应追问。准备重点是讲清“我懂什么、不懂什么”，而非背工具名。
2026-11-07 15:40:29
291
原创 混元 Hy4 上手实测：把「能干活」当卖点的腾讯新旗舰，成色如何？
腾讯混元Hy4为770B参数级开源大模型，首次集成视觉理解、Computer Use与长程Agent能力，在多模态推理、专业软件协同及长任务规划上实现突破。实测中，其在55分钟内完成网页塔防游戏从零开发到上线的全流程，涵盖架构重构、自动化测试与部署，展现强大工程执行能力。视觉任务表现优异，可完成复杂空间建模与逻辑推理，但在细节核验与事实区分上仍有提升空间。结合WorkBuddy等产品落地，支持金融、科研、游戏开发等场景，幻觉率降至7.2%，安全性经多方审计验证。定价亲民，免费试用期持续至2026年，标志着国
2026-11-07 15:20:17
330
原创 腾讯 Hy4 的独立评测成绩：35 分，但“不知道就说不知道“的能力只有 11%
腾讯Hy4在智能指数中获35分（国内第二），但AA-Omniscience评测幻觉率达89%，揭示“能力”与“知不知”是两套体系。准确率50%反映知识掌握度，幻觉率89%则暴露其“不知时仍编造”的缺陷。选型需拆解四维度：能力、可靠性（幻觉率/指令遵循）、工程稳定性（限流/降级）、成本（非仅单价）。上线前必须自测三类场景：限流失败行为、配额耗尽处理、降级路径有效性。尤其要通过真实问题、事实库比对、虚构提问三档测试验证幻觉率。结论：若输出直通生产或合规场景，可靠性必须优先于分数。
2026-11-07 14:52:26
270
原创 它自己搭库、配登录、上线：中间那道门禁，测过吗
2026年11月5日，Cursor推出“Build Live Apps”功能，允许云Agent通过一句话需求自动生成并部署Web应用，涵盖数据库创建、SSO集成与发布链接。该功能将AI能力延伸至“发布上线”环节，引发测试关注：当Agent可自主执行带后果操作（如开库、申请密钥、分配权限）时，传统测试需转向机制级验证。官方设四道门禁——安全扫描、显式发布、管理员可见性与访问控制，但其有效性依赖测试团队验证“越权路径”与状态变更后的残留问题。核心挑战在于生成应用不可枚举，测试须基于规则而非具体应用，实现自动化、
2026-11-07 14:34:52
331
原创 面试官问：这段测试代码是你写的，还是 AI 写的？
回到文章开头的问题。面试官问：“这段测试代码，到底是你写的还是 AI 写的？其实没有必要刻意回避。如果确实使用了 AI，就承认使用了 AI。但承认之后，还要说明它参与了哪些工作，以及自己承担了哪些工作。第一，我为什么这样设计？第二，我怎么证明它是对的？第三，出了问题，我能不能自己解决？如果这三个问题都能回答清楚，那么 AI 辅助开发不仅不一定是减分项，反而能够体现你使用新工具提高研发效率的能力。
2026-11-06 17:46:33
231
原创 自愈测试把红灯修绿了，但它可能把断言一起修没了
自愈测试正从“换选择器”扩展至“改断言、删用例”，但需设限。Qwen Code v0.26.5 明确：自动修复最多3次即交回人类，避免静默失效。三种“修绿”方式中，仅改定位器可保留验证能力；放松断言或删除用例会永久丧失缺陷发现力。建议分级管理修复权限，关键用例须通过受控失败验证其有效性。自愈率应结合30天回归率评估，仅看成功率易误导。小团队可执行三条规则：断言必人工、修复附证据、三连修则升级。核心原则：自愈省的是判断时间，而非质量——真正的上限，在于“何时把判断权还给人”。
2026-11-06 16:14:13
305
原创 单测全过，退款金额却在几个月后错了：AI 写的工具函数最容易漏这一层
AI编程助手易重复造轮子，因检索局限与归属模糊，导致金额处理函数出现舍入规则差异。测试难捕获此类缺陷，因边界值未覆盖且行为自洽。需通过语义搜索、行为对照、单一事实源约束及边界用例回归等手段，在评审与CI中拦截。关键在于将财务决策转化为可执行规则，而非仅注释留存。系统可靠性取决于行为唯一性，而非代码复用率。
2026-11-06 14:28:29
323
原创 3周做一个能被追问20分钟的AI测试项目：2027届校招版
本文提供一个3周可完成的校招AI项目：退款查询Agent，通过6条可失败的验收承诺、20条覆盖多类风险的评测用例、4个Trace观测点及错误修复，构建可验证、可复现的测试证据链。项目强调“过程断言”而非结果文本，避免“做过但说不清”的陷阱。附简历句与8个面试追问应对策略，助力简历突围，真实还原工程思维。
2026-11-06 10:11:18
164
原创 第一次给 Agent 写回归用例，先别急着选指标
Google 在 Agents CLI 的官方演示里做了一件很有参考价值的事：把天气 Agent 的提示词换成一个不相关的"厨师人格"，代码没动，平均评测分从4.00掉到2.75。真正暴露问题的不是均分，而是个案里它不再正确调用天气工具。本文讲清楚三件事：为什么最终回复通过不等于 Agent 没问题、怎样把产品承诺改写成可失败的断言、怎样用官方评测命令搭一个能守住的回归闭环。**
2026-11-05 16:24:41
244
原创 同一个问题，今天和明天可能不是同一个模型在答：模型路由上线前该测什么
GitHub Copilot Fusion 在 Universe 2026 正式上线，实现任务驱动的动态模型路由。测试面临四大新挑战：能力漂移、成本延迟波动、格式不一致与静默降级。建议通过可观测日志、能力契约、降级验证与成本门禁四抓手构建测试体系，重点监控路由决策、跨模型一致性与端到端链路。策略变更需灰度发布，核心指标包括任务完成率、延迟与成本。小团队可优先保障日志记录与分模型统计。路由非万能，仅适用于多任务、高并发场景，测试价值在于让系统自决策可追溯、可验证。
2026-11-05 16:04:47
255
原创 页面一改，脚本全崩？昨晚的直播课，可能给 UI 自动化指了条新路
测试团队需超越“调用成功”表象，通过行为断言、端到端验收与独立观察验证桌面Agent操作实效。本文以Qoder团队案例为鉴，提出三层验证体系：工具层确认参数有效，界面层核对状态变更，工作流层评估完整链路。强调测试应分离执行与验证，避免“自我证明”陷阱，将缺陷转化为回归样本，并建立可复用的测试矩阵，确保结果可观察、可追溯、可复现，真正实现“有证据说明完成”。
2026-11-05 15:08:01
263
原创 Agent点完按钮就说成功，测试团队如何确认它真的生效？
测试团队需超越“调用成功”表象，通过行为断言、端到端验收与独立观察验证桌面Agent操作实效。本文以Qoder团队案例为鉴，提出三层验证体系：工具层确认参数有效，界面层核对状态变更，工作流层评估完整链路。强调测试应分离执行与验证，避免“自我证明”陷阱，将缺陷转化为回归样本，并建立可复用的测试矩阵，确保结果可观察、可追溯、可复现，真正实现“有证据说明完成”。
2026-11-05 15:05:41
72
原创 代码审查 Agent 已能抓到不少缺陷，测试团队还该担心什么？
Microsoft Research与卡内基梅隆大学发布的CRBugBench基准，评估代码审查Agent在公开与专有仓库中发现已知缺陷的能力。研究显示，最佳模型在前五条评论中捕获71.9%的bug，但需区分“评测结果”与“生产效能”。测试团队应通过可复现的试点，基于历史PR回放，分层评估召回率、误报率与上下文依赖性，避免将“无评论”误解为“安全”。关键在于：将Agent定位为可问责的风险提示器，而非自动裁决者，结合人工验证与证据追溯，确保其在真实场景中的可靠性与责任边界。
2026-11-05 14:47:13
350
原创 Cloudflare 开始把请求和响应放一起看，接口断言该跟着改了
接口回归假绿的根因在于断言仅聚焦请求侧（如路径、参数、是否被拦截），忽视应用实际响应。当鉴权配置漂移或规则绕过时，请求看似正常，响应却暴露敏感内容，而传统断言无法捕捉这一关键环节。真正的安全防护需引入“全交易断言”：同时验证未授权访问条件与响应结果（状态码、内容类型、业务特征命中）。唯有将断言从“我发了什么”转向“应用给了什么”，才能识别真实漏洞。建议将此类断言纳入业务用例，设置观察期校准特征，并明确敏感路径清单，实现从流程合规到实质安全的转变。
2026-11-05 14:36:02
275
原创 做一个会操作网页、也能留下审计证据的Browser Agent
面向2027届校招，构建基于本地模拟商城的受限Browser Agent项目，实现商品查询、加购、创建待确认订单等操作，严格限制工具权限与支付能力。通过工具白名单、状态机管理、Trace记录与数据库断言，验证价格变化、库存不足、登录过期、重复提交等边界场景，确保行为可追溯、结果可复现。项目强调最小权限、幂等性与独立Oracle验证，形成可写入简历的工程化测试实践，助力面试中应对“Agent测试”追问。
2026-11-04 16:36:47
124
原创 模型切换后回答更快了，谁来证明关键业务没有悄悄变差？
模型路由或Fallback切换会改变延迟、成本、工具调用和回答风格。本文用明确标注的业务推演给出分层对照实验，帮助团队避免只看平均分或单次输出。周五晚上的发布把默认模型切换成了更快的版本，普通问答看起来更顺畅。可退款、权限、医疗建议这类高风险问题，一旦路由到不同模型，工具选择和拒绝策略也可能发生变化。假设一款AI客服在主模型超时后自动Fallback到备用模型，测试团队不能只比较两次回答的语言质量，还得验证状态、工具和业务约束是否一致。这个场景是基于常见模型路由机制构造的业务推演，不对应具体公司事故。
2026-11-04 16:20:47
233
原创 Agent跑了多轮才答错，测试报告该从哪一步开始看？
本文提出面向多轮Agent测试的Trace最小字段与可复现回归方法，强调仅依赖最终回答无法定位问题。通过定义模型调用、工具动作、环境状态等关键字段，构建可追溯的Trace，实现对执行过程的精准归因。建议以不变量为核心进行回归测试，避免逐字比对带来的误报。结合分段归因与重放机制，提升故障排查效率，助力团队在客服、知识库等场景中实现稳定可靠的Agent测试。
2026-11-04 15:55:37
294
原创 Agent的Skill改了一行，功能没报错，行为却可能悄悄变了
本文基于SkillsBench v1研究，提出Skill评估的三层次框架：静态校验、轨迹分析与配对实验，强调仅靠代码无错不足以保证Skill有效性。指出Skill变更可能隐性影响Agent行为，需通过可复现的配对测试隔离其作用，结合任务结果、成本与副作用综合判断。建议以小规模玩具项目验证流程，明确发布门槛，避免将偶然成功误判为有效改进。
2026-11-04 15:27:25
181
原创 测试工程师可照做的Agent辅助模糊测试复现路线
GitHub Security Lab于2026年10月发布AI-powered fuzzing Taskflow Agent，探索Agent在模糊测试中的协作角色。本文拆解其在目标选择、种子构造、崩溃归因与复现中的作用，强调需通过容器隔离、证据留存与可回放流程保障可信性。建议以开源项目为练习框架，验证Agent的解释能力与误判风险，避免将模型输出直接认定为漏洞。核心原则是：可复现、可归因、可分级，而非盲目追求发现数量。
2026-11-04 15:06:49
347
原创 GitHub紧急扩容400万核：AI Agent把CI跑成试错场，测试该夺回质量门禁了
10月底的GitHub Universe大会披露：9月单月Commit达74亿次、约为上年同期的5倍；今年累计新增400万个CPU核心与160PB存储；而90天可用性一度跌到约84%。三个数字，结论只有一句：当提交的验证成本趋近于零，提交必然泛滥，质量体系必须重新设计。
2026-11-03 17:26:04
238
原创 AI测试新趋势：模型权重可被改写，测试人盯住3件事
实验里最关键的判断不是那 40 个百分点，而是那句"1 个百分点不足以证明提升"。这是口径判断，不是执行动作。你的团队里现在谁在定"什么算通过"“采样几次取平均”“波动多大算噪声”？如果是开发或产品，测试就只剩执行了。
2026-11-03 16:55:13
281
原创 做了五年测试，最该警惕的不是AI，而是经验停止生长
五年以上测试经验，不应仅停留在熟练执行用例。真正的价值在于将经验提炼为可迁移的判断力：识别隐性风险、构建验证逻辑、推动质量决策。面对AI辅助与自动化浪潮，资深测试应转向业务规则深挖、质量机制设计与问题本质分析，以“可验证的证据”替代“资历背书”。通过90天试点验证，持续扩大解决问题的半径，让判断力成为不可替代的核心能力。
2026-11-03 16:44:51
123
原创 结果与能力背离：一份智能体评估报告为什么要拆成两栏
下周写智能体评估报告，别再交一列排序。至少并一栏机制诊断：哪怕是手填的四维简表，也比只有一个成功率强。评审桌上，当有人又指着 0.71 说「选高的」，你要能翻到背离那一页回一句：这个数是怎么来的，报告里有两栏。绿不绿是结果，凭什么绿才是能力。同一个通过率可以来自两种完全不同的智能体，报告并两栏才看得见是哪一种。本文部分内容参考了霍格沃兹测试开发学社整理的相关技术资料，主要涉及软件测试、自动化测试、测试开发及 AI 测试等内容，侧重测试实践、工具应用与工程经验整理。
2026-11-03 16:22:54
318
原创 GitHub扩容400万CPU核心：AI编程的效率账，该重新算了
GitHub单月提交量达到73.8亿次，AI Agent让代码生产加速，也把验证、审查和基础设施成本推向前台。提交更多，究竟有没有让软件交付更快？AI写代码越来越快，替这些代码收拾残局的系统，却未必跟得上。GitHub披露，2026年已新增400万CPU核心、160 PB高速存储。另一组官方数据更直观：2026年9月，开发者和Agent在GitHub上产生了73.8亿次Commit，是上年同期的五倍多。这些提交包含人和Agent的活动，不能全部算成AI生成的代码。
2026-11-03 16:05:51
179
原创 MCP 服务的身份权限怎样覆盖到单个操作？
本文探讨MCP服务中细粒度身份权限如何覆盖单个操作，强调仅依赖提示词（如“不要合并”）无法实现有效权限控制。通过构建“谁、对什么、做什么”的授权矩阵，明确不同身份在读取、创建分支/PR、合并及发布等操作上的权限边界，并要求拒绝行为具备可审计性与无副作用。测试需覆盖正常、拒绝、权限变更与身份伪造场景，验证代理层权限拦截有效性，确保所有调用路径均经过身份感知网关，防止旁路攻击。同时关注身份生命周期、策略版本一致性、异步任务撤销与幂等性，推动权限策略进入CI流程，实现可回放、可审计的自动化验证。
2026-10-30 17:28:39
5
原创 Google 评估指南点名的能力，用四条 pytest 真测一遍
本文提出“故障注入测试”是检验智能体错误恢复能力的关键手段。传统评估依赖健康环境与稳定mock，导致失败路径无法触发，真实缺陷难以暴露。通过将mock升级为可配置故障的“会出故障的替身”，模拟超时、空响应、错误码、错数据四类典型故障，实现对智能体在异常情况下的行为量化断言：是否编造信息、是否重试失控、是否透传错误、是否污染状态。代码实证表明，唯有让故障路径真正“变红”，才能推动智能体策略、提示词、归因链路与校验层协同优化，使错误恢复从口号变为可测、可管、可修的工程能力。
2026-10-30 17:16:18
261
原创 Playwright v1.63 的 worker 泳道：怎么证明两条用例没同时跑
同一个测试账号被两条用例同时读写时，先失败的往往是改到一半的中间态，而 workers 这个数字从来不是资源约束。一手来源为 Playwright 官方 Release Notes 的 Version 1.63 条目 Test locks 一节，属版本条目原文口径、未标发布日期。可拿走四口径调度对照、能算冲突对数与墙钟的仿真脚本及真实输出、锁名两种写法的利弊表、按资源命名的锁清单与三条 CI 检查。它只覆盖调度层的互斥，不替代测试数据隔离与外部状态复位。
2026-10-30 17:05:00
355
原创 Google ADK 的 Replay 与 Live 两种模式：门禁该挂在哪一个上
本文剖析Google ADK智能体回归测试的基线机制漏洞：adk conformance test依赖自动生成的generated-recordings.yaml作为黄金基线，但录制过程无人签字、复核缺失，导致“重录不改正文”仍报绿，实则责任真空。官方强调不手写基线，却未明确谁录、如何复核、回放比对三要素（请求、响应、工具调用）。实测显示，回放严格逐字段比对，连同义改写、顺序微调均判红，虽严但易误伤，且缺件、模式错配等常见问题常被掩盖。结论：该测试应定位为门禁层的“一致性检查”，而非质量评估，其“绿”不等于
2026-10-30 16:54:21
18
原创 腾讯 WorkBuddy 会员测试实战：如何用状态迁移法验证跨应用权益？
本文基于 Buddy One 跨应用会员体系，结合官方规则，提出一套系统化测试方案。通过识别订单、会员、账号关联、权益与积分账本五大业务实体，运用状态迁移法构建会员与关联生命周期模型，并结合判定表法设计关键测试用例，重点覆盖跨产品权限同步、共享积分扣减顺序等复杂场景。特别强调：支付成功≠权益可用，需区分状态迁移与业务逻辑；积分按到期时间优先扣减，同到期日包需明确契约。该方法有效提升跨系统会员测试的完整性与准确性。
2026-10-30 16:42:36
34
原创 测开必看｜可落地实操：用独立验收和反例检查 AI 自测
OpenAI的Agent-first实验揭示：当Codex承担代码、测试、CI等任务时，人类转向环境设计与反馈机制构建。文章强调，效率提升源于系统化协作，而非单纯速度增长，“十分之一时间”为团队估算，不可外推。测试工程师需警惕自测闭环带来的独立性丧失，关键在于建立独立证据链——需求、断言、反例须来源多元。小团队可开展低风险试验，通过隔离环境、记录变更证据、设定终止条件，验证流程可靠性。核心启示是：代码生产可自动化，但验收权、风险边界与责任归属不可模糊。
2026-10-22 16:01:04
330
原创 Google给生产Agent配了一名AI质检员，测试团队该把什么交给它？
Google于2026年10月开源AQuA（外循环质量Agent）参考实现，通过聚类生产对话失败、复核异常并锚定至源码，推动质量保障从“内循环”向“外循环”演进。该系统不替代测试工程师，反而凸显其核心角色：定义异常标准、校准证据链、设计升级规则，并承担最终责任。面对AI自我监督的幻觉，需建立独立验证机制，确保根因可复现、数据合规、判断可审计。未来竞争力不在自动化程度，而在真实业务结果与可追溯证据的闭环能力。
2026-10-22 14:19:54
108
原创 Agent上线后才暴露的“软失败”，测试团队怎样提前拦住？
AWS推出九阶段生产Agent评测框架，强调“软失败”比报错更危险。本文将其转化为可落地的风险门禁：三道发布关卡——业务红线、能力回归、预算控制，结合证据链管理与故障注入，实现对工具轨迹、权限、成本的精准监控。小团队可两周内通过最小闭环验证，核心是让每个决策可追溯、可复现，真正实现从“答案正确”到“行为可控”的质量跃迁。
2026-10-22 14:17:48
278
原创 AI会写更多代码后，测试工程师要把价值放在哪里？
AI时代测试岗位的核心价值正从执行转向判断。随着Coding Agent自动生成代码、测试与文档，重复性工作被压缩，但“同源共错”风险上升——错误假设会贯穿全流程。测试工程师需升级为独立定义成功标准、识别系统风险、建立证据链与发布门禁的角色。关键能力包括：批判性审查输出、跨系统判断、风险建模与责任解释。未来竞争力不在于写多少脚本，而在于能否在自动化洪流中守住业务边界，确保“通过”不是“一致错误”。
2026-10-21 18:25:45
178
原创 AI自动化省了工时，为什么项目仍可能不值得做？
AI自动化虽节省工时，但项目仍可能不值得做，因需综合评估五本账：直接成本、失败成本、监督成本、机会价值与可控性资产。仅看工时节省会忽略错误损失、人工复核负担及长期维护成本。立项应做反事实对比，上线前影子运行验证，复盘时关注任务偏移与真实业务影响。质量指标须关联风险与成本，设置止损线，并确保可退出。真正的价值在于平衡效率与风险，而非单纯追求自动化率。
2026-10-21 18:16:44
124
原创 2027届做Skills权限实验：把“会调用工具”变成可验收项目
本项目构建一个安全可控的“生成周报”Agent，通过Manifest与策略引擎实现最小权限控制，验证路径穿越、版本漂移、未确认写入等12类攻击场景。基于沙箱环境与幂等机制，以可复现的Trace证明系统在恶意指令下仍能阻断越权操作，实现从“工具调用”到“安全测试作品”的升级。
2026-10-21 18:07:59
285
原创 浏览器Agent点开链接之前，测试到底要验证什么？
OpenAI 2026年提出AI Agent链接安全机制，通过独立索引判断URL可信度，防范提示注入诱导。测试需分三步：链接来源、访问前验证、页面指令响应。不能仅依赖黑白名单，而应覆盖已知/新域、重定向、动态路径、模型生成链接等场景，结合数据策略与用户确认。关键在于网络层真实阻断、确认框具体化、动作与快照一致性校验，并重视视觉操作误判风险。真正安全需从“字符串”转向“执行环境入口”的全链路验证。
2026-10-21 17:56:57
305
原创 当AI一天提交更多代码，Git回归为什么先从“基础设施失真”开始？
GitHub在2026年重构Git基础设施，应对开发者与Agent并发提交带来的挑战。测试面临基线漂移、缓存不一致、证据失真等新风险。传统回归模型失效，需转向“按证据有效期运行”：记录源码SHA、合并树SHA、依赖哈希等不可变信息，建立证据账本。测试团队应强化身份验证、分层排队、智能选测校验与来源标签，确保每份通过结果可追溯、可复现。
2026-10-21 17:54:06
285
原创 平均延迟达标，最慢那一批没人记
报告指出，仅依赖平均延迟（如320ms）做容量决策极易误导，因其无法反映尾部延迟与分布形态。平均数会掩盖“少数极慢请求”或“双峰分布”等关键问题，导致扩容、SLA承诺与灰度策略误判。建议改用分位数三元组（P50/P95/P99）+样本量+时间窗+冷启动口径+分桶维度的标准化记录方式，并拆分TTFT与端到端耗时，实现体验与容量的精准归因。核心原则：延迟报告的价值不在于好看数字，而在于让最慢的请求有人认领。
2026-10-20 21:51:03
119
原创 大模型评测报告该带的十项运行元数据
评测报告需包含十项运行元数据：模型快照、数据集哈希、解码参数、判据版本、工具可用性、用户模拟器版本、硬件环境、时间窗、样本量与置信区间、失败样本下载路径。缺一不可，否则分数无法可比。尤其应确保模型、数据、解码三者一致才可对比，否则差异可能源于条件变化而非模型性能。建议将元数据纳入报告模板并设置自动化校验守卫，杜绝“不可比”报告进入对比表，真正实现结果可复现、结论可追溯。
2026-10-20 21:43:00
126
原创 Pytest 验收 AI 用例：把断言有效性做成机械门禁
AI 生成测试用例虽大幅提升效率，却带来“假绿”风险——大量用例仅断言状态码或非空，无法真正验证业务逻辑。本文提出三道验收线：断言有效性（必须覆盖业务不变量）、数据来源（输入与期望值需有真实依据）、失败可归因（失败信息须明确指向问题根源）。通过 pytest 门禁机制强制标记审查，将“未过审”用例显式拦截在流水线外，确保回归质量。核心理念：AI 降低编写成本，但测试价值取决于验收深度。
2026-10-20 21:37:46
299
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人