测试员周周-优快云博客

原创 AI测试智能体（agent）实战：规划→执行→反思：14年测试教你从零手写一个能跑的Agent（附源码自取）

本文分享了从零搭建AI Agent的实战经验。作者通过14年测试经验指出：Agent本质是控制流（规划→执行→反思），而非框架，建议先用Python手写理解核心逻辑。文章详解了Agent四步流程：1）任务拆解与兜底处理；2）拓扑排序执行；3）反思检查机制；4）结果汇总。特别强调三个关键点：业务场景只需改背景和工具列表、必须添加JSON解析兜底、反思机制能显著提升输出质量。文中还揭露了eval()安全隐患等三大坑，并提供调试技巧。最终开源1000行代码实现，证明用基础语法即可构建实用Agent。

2026-05-11 22:19:01 1015 1

原创【skills】AI测试：别再手写pytest了：Markdown spec → 自动生成，30秒搞定API/UI/CI测试

测试老兵周周分享了一套高效自动化测试方案：通过Markdown文件+AI自动生成测试脚本，实现API、UI测试全流程自动化。该系统包含技能文档、本地脚本生成器和CI流水线三部分，支持5种测试类型，30秒即可生成可运行脚本。提供11个开箱即用的模板，并集成GitHub Actions实现代码提交后自动测试。方案结合AI辅助生成和本地模板展开两种方式，显著提升测试效率。作者还分享了完整的技能包，包含测试数据生成、缺陷分析等进阶功能。

2026-05-07 02:02:45 1845 2

原创【agent_platform】我自己开发了一套 Agent 系统，今天讲一下这套系统的五层架构

本文介绍自研Agent系统的五层架构：前端→API→Agent→能力→数据。通过拆分职责，每层专注一事，解决此前缺陷定位混乱问题。实践表明，分层提升可维护性与测试效率，缺陷可精准归因。后续将深入Agent内部四阶段流程设计。

2026-11-12 00:31:21 38

原创【agent_platform】一个人搭 Agent，技术栈我只留了这三样

作者自研Agent系统，技术选型聚焦“单机可跑、零外部依赖、数据可翻”三原则。选用FastAPI实现异步接口与自动文档，Vue3+Vite保障前端快速迭代，SQLite确保数据本地化、易备份。全栈部署仅需docker-compose up -d，8234端口即启，12页面、78接口、一个库文件运行三个月无故障。强调选型非求最优，而是匹配“一人开发、测试、运维”的轻量场景，边界清晰：不适用于高并发、多人协作或复杂交互。

2026-11-12 00:08:47 38

原创 agent测试工具：LangSmith深度源码解析

LangSmith SDK是LangChain的云端实验平台客户端，支持追踪Agent调用链、管理数据集、运行实验与打分。通过@traceable装饰器或框架接入，可将模型调用、工具执行等封装为可追溯的Run树，并上报至云端。支持Python/JS双端，提供同步/异步客户端、沙箱环境、测试插件及评估器集成。关键功能包括采样控制、脱敏处理、实验对比与反馈记录。需设置LANGSMITH_TRACING=true并手动flush以确保数据上传。适用于测试同学验证埋点、实验配置与Agent行为一致性。

2026-10-28 22:56:35 187

原创【skills】别再迷信「有 PR 就有测试点」！很多 diff 用例一直在骗评审

本文批判了“按diff生成测试用例”流程中的常见陷阱：盲目依赖AI生成假参数、混淆接口冒烟与业务场景、忽略变更面与待补标记，导致用例虚高、评审失效。为此提出五阶段标准化流程——分析→规划→执行→评审→自我修复，强制标注待补、关闭无效通道、人工确认业务语义，确保用例真实可追溯。核心原则：推不出不编造，空差异不停止，无变更面不推进，杜绝“文件写完即交付”的形式主义，真正实现可评审的回归覆盖。

2026-10-28 22:51:21 288

原创 REA实战：没有接口文档，12万星的REA能帮测试吗

GitHub项目REA（ReverseEngineerAnything）星标超12万，聚焦无源码环境下对运行中程序的本地分析。通过接入浏览器调试端口，它可逆向提取前端路由、接口路径、模块依赖与调用关系，生成可测试的接口清单与页面结构证据。适用于网站、Electron应用、APK及二进制分析，尤其在缺乏文档时快速构建测试范围、铺接口骨架、识别差异。但不还原请求体、响应结构或业务逻辑，需结合真实抓包补充。核心价值在于：从运行态前端倒推“能测什么”，而非“怎么测”。

2026-10-14 07:00:00 202

原创 agent测试的常用工具：DeepEval、promptfoo、RAGAS、Langfuse、LangSmith 是干什么的

前四个开源工具——promptfoo、DeepEval、RAGAS、Langfuse——构成Agent/LLM测试的入门组合，分别覆盖提示词对比、质量断言、RAG拆解评估与调用链追踪。它们可本地运行、不绑定厂商，协同覆盖“改提示词→写回归→评知识库→看线上”全链路。LangSmith作为云端平台，将调用链、数据集与实验统一在界面中，与Langfuse同层，适合已用LangChain/LangGraph的团队。选择应基于手头材料：无检索用promptfoo；需CI红灯用DeepEval；要拆解RAG性能用RA

2026-10-13 07:15:00 611

原创开发 Agent Platform，踩了一次真实的线上超时故障

在开发AgentPlatform时，批量测试用例因504超时集体失败，经排查发现根源为模型开启思考模式导致单次调用耗时超45秒会话总闸。虽配置180秒模型超时，但非流式调用下任务仍被截断，且后台线程未终止。修复方案为统一关闭模型思考模式，3个核心用例验证通过，耗时从23.4秒降至可接受范围。后续建议优先分析任务账而非立即重启，以保留排查线索。

2026-10-03 10:54:17 165

原创【jev应用到测试】94 条 UI 报错交给 Jev，三档判对 85.1%，开单闸门定在 0.6

本文通过94条真实界面报错数据，验证Jev模型在测试缺陷自动判别中的应用效果。基于三档选择题与把握度阈值，设定0.6闸门实现57张缺陷单零误报，代价为14条真缺陷漏判。模型稳定错因在于材料中残留测试侧痕迹及反证未独立处理。结论：仅当问题有唯一答案时可交由模型，把握度<0.5需人工介入，0.6为中文场景下可行自动开单阈值，且需预处理输入、独立反证题。

2026-09-23 08:48:58 149

原创【功能测试转agent测试】37岁从功能测试转到 AI Agent 测试，学习路线和面试怎么准备

37岁北京测试工程师转型AIAgent测试，经历简历无回音、学习迷茫期后总结出200小时高效转型路径：聚焦AI提效（用例生成、自动化）、Agent测试（工具调用、多轮对话、打分机制）及大模型基础（Prompt、RAG、幻觉等），通过三遍学习+实操项目落地，打造可展示作品集。建议海投简历、做HTML个人作品集，每日投入3小时，70天可入门。核心是动手实践，掌握真实测试能力，而非空谈理论。持续学习，拓宽职业选择。

2026-09-21 06:20:54 220

原创【代码审查提示词模板】vibe coding 出来的电商系统，AI 审出 7 个 P0，其中 4 个接口还在返回成功

<think>我们只需要根据要求生成摘要，≤150字。需要总结内容：作者对vibecoding系统用AI审查，先整理需求菜单，分批扫描，发现52个问题、7个P0等，强调了不能只看功能跑通。摘要要精炼。</think>AI审查vibecoding代码，先整理需求菜单并按认证、业务等分批扫描，发现52个问题、7个P0，含弱密钥、IDOR、不扣库存等。功能能跑≠能上线，需按越权、并发、假绿等维度核查。

2026-09-03 08:28:46 365

原创【DeepSeek Harness】DeepSeek Harness 直球能防住，扮演小说家就不行

—一次 AI 安全评测复盘我是测试员周周。上一篇手工打了 8 个攻击面；这篇把它接进评测平台，用现成的 54 条安全样本批量测试。这是 AI 安全评测复盘：数是自动化跑的，稿子我自己写、自己核过，不是代写。不含可执行攻击载荷，样本已脱敏，给防御方看的。对象是官方说了会改。结论只对 2026-08 这次快照负责。中没中招，不听它自己说，看规则：输出里有没有中招词、有没有拒绝。手工那轮每个点只打 3 到 8 次，我心里没底。攻击类的东西，我从来不当一次的数。

2026-08-27 23:53:40 455

原创【DeepSeek Harness】DeepSeek Harness 到底怎么跑起来

它是工位，不是聊天，也不是考场。能力来自你挂了什么插件，不来自你以为它「应该有」。隔离目录 + API key + Python SDK，普通机器当天能跑起来。四个用法怎么排、当靶子打出了什么，看上一篇。下一篇按上一篇的预告走：把它当靶子的细节拆开，再接到评测平台上批量打。这篇是总览的附录。名字和安装一旦清楚，上一篇那些「能写测试」「默认不安全」「过程能看见」，才不会听成三件不相干的事。

2026-08-26 07:47:48 383

原创【DeepSeek Harness】我把 DeepSeek Harness 当“被测对象“打了 8 个攻击面，发现它“自以为穿了防弹衣“

攻击面默认配置实测结果评级A1沙箱逃逸无 sandbox逃逸 3/3（100%）🔴A2自我修改无 self-modification拒绝 3/3，但幻觉有沙箱🟡A3凭据泄露无 credentials 脱敏🔴A4审批门禁无 interaction执行 3/3，不询问🔴A5循环卫生无 guard150s+ 不收敛🔴A6工具超时timeoutMs 未生效sleep 90 跑满🟠A9提示注入（模型层）0/8 中招🟢A10多轮上下文。

2026-08-26 07:45:04 359

原创【DeepSeek Harness】DeepSeek Harness 火了，但你可能用错了姿势

我是测试员周周，14 年测试老兵。这篇文章把我对 DeepSeek Harness 的实测结果全摊开——4 个用法，从"拿它干活"到"拿它当靶子"。所有数据都是 2026-08 一手实测，不是二手转述。该说的坑一个不藏。

2026-08-24 23:51:14 412

原创【AI测试系统实现2】干了 14 年测试，我发现小团队翻不了身就卡在这五件事上

《测试团队的效率困境与破局之道》摘要：本文揭示了一个三人测试小组在电商系统测试中面临的五大核心问题：需求口径不清、测试流程未分段、接口依赖混乱、批量测试噪声多、Bug复现率低。作者通过真实案例指出，单纯增加人力或编写更多测试用例无法解决这些结构性瓶颈，并分享了针对性解决方案：建立需求确认模板、拆分标准化测试流程段、实现接口自动串联、分层分级执行测试、严格Bug提交流程。文末强调工具只是辅助，关键在于每周聚焦解决一个核心卡点，通过持续优化流程而非堆砌资源来提升效率。

2026-08-09 15:34:28 224

原创【AI测试系统实现1】粘贴一段需求，十分钟内跑通一次完整测试

文章摘要：本文针对小团队测试效率低下的痛点，提出「十分钟黄金路径测试法」。核心方案是通过结构化需求（角色、关键数据、成功标准三要素）、聚焦主流程、自动化数据流转，实现从零到可验证结果的快速闭环。关键步骤包括：0-2分钟需求可测化处理，2-5分钟生成主路径用例，5-8分钟链式执行验证，8-10分钟输出带卡点定位的结论报告。通过真实代码模块示例（如requirements.py预处理、api_chains.py变量接力）说明工程实现，强调「先跑通再完善」的务实策略，并列举6条落地建议和5个常见反模式。该方法将传

2026-08-08 08:25:48 325

原创【AI测试系统】UI 自动化登录的两种实现：验证码正常登，或 API 两步进系统

本文探讨了UI自动化测试中绕过验证码登录的两种策略：方式一：完整模拟用户操作（填账号、识别验证码、拖滑块），适用于验收测试或登录功能专项验证，但成本高、易波动。方式二：通过API获取Token后直接注入浏览器，跳过UI交互，适合批量业务回归测试，速度快且稳定。关键结论：目标决定策略——测登录页用方式一，测业务功能用方式二；测试环境需配置通行策略（如debug_answer），生产环境不可绕过安全机制；推荐组合：少量登录专项用例+大量业务用例复用Token，平衡覆盖率和效率。注意：滑块参数需按系

2026-08-03 01:03:23 377

原创【AI测试智能体20】面试官问我Temperature怎么设，我把这篇甩给了他

本文探讨了temperature参数对AI模型（deepseek-v4-pro）处理不同复杂度任务的影响。通过测试创意写作、逻辑推理和电商报告三种任务（各运行2次），发现：1）所有任务在temperature=0.3和1.0时成功率均为100%，但电商报告的平均Token（556）显著高于创意写作（190）；2）temperature对Token数的影响因任务而异，未呈现稳定规律；3）结构化任务（如报告）消耗更多Token。测试建议指出：temperature选择应基于任务类型（如创意写作0.7-1.0，数

2026-07-29 08:00:22 429

原创【AI测试智能体18】智能体Bug难排查？我们总结了7大类型和35个子类型

本文提出了一种针对智能体（Agent）缺陷的新型分类体系，将常见问题划分为7大类型：规划缺陷（25%）、工具缺陷（20%）、执行缺陷（15%）、记忆缺陷（10%）、知识缺陷（15%）、安全缺陷（10%）和性能缺陷（5%）。通过电商数据分析智能体的实际案例，展示了各类缺陷的表现形式、根因分析和修复方案。文章强调智能体缺陷应按执行阶段（规划/执行/反思/总结）而非功能模块进行分类，并提供了包含缺陷定位流程图、严重度评估标准和缺陷记录模板的完整解决方案。实践表明，采用该分类体系后，根因定位时间可从平均24分钟降至

2026-07-28 08:42:25 387

原创【AI测试智能体19】老板问“能不能上线“，你还在翻50页测试报告？

本文摘要（150字）：测试报告应分层呈现，管理层关注1页摘要（结论、总分、风险点），执行层查看详细数据。质量门禁分关键门禁（如总分≥70%、安全性≥80%）和警告门禁（如延迟<15秒），通过后决策Go/No-Go。示例中因工具使用（43%）、安全性（76%）未达标触发No-Go。报告需包含维度得分、缺陷清单及趋势分析，支撑发布决策。测试价值在于明确“能否上线”，而非仅发现问题。附代码实现门禁检查与报告生成，形成从数据到决策的闭环流程。

2026-07-28 08:40:26 225

原创【AI测试智能体17】AI Agent 用 3 个工具就翻车？我们测了它的工具链

本文探讨了电商数据分析智能体在多工具组合场景下的集成测试方法，重点分析了工具链组合测试的三种模式（线性、分支、并行）及其挑战。测试结果显示，3个代表性工具链（竞品分析、数据分析、多竞品抓取）执行成功率100%，但并行场景样本量不足。文章提出了15个测试场景用例集，并分享了失败传播验证脚本和测试报告模板。核心发现包括：工具间数据传递是主要难点，格式转换错误是常见缺陷类型，并行执行稳定性仍需大规模验证。最后通过3个面试问题总结了多工具测试的关键点：数据格式兼容性、调用顺序依赖性和接口适配问题。

2026-07-22 08:23:05 231

原创【AI测试智能体16】我用 5 个 CSV 任务，测透了 AI Agent 的数据分析能力

本文探讨了AI智能体在数据分析任务中的可靠性问题，通过5个真实CSV任务测试发现，尽管表面上任务能完成，但可能存在分组统计错误、数值计算编造等问题。文章介绍了一个完整的测试流程，从测试设计到缺陷发现，包括多维评分（规划、工具使用、代码能力、知识）和缺陷检测。测试结果显示，5个任务全部执行成功并通过60%的门禁要求，平均得分68.8%，但存在子任务规划过多、知识维度评分偏低等问题。文章强调了测试数据准备的重要性，并指出数值验证是确保AI真实分析而非编造的关键。最后提供了面试问题集，探讨了数据分析测试的核心环节

2026-07-22 08:05:19 356

原创【skills】我用 Vibe Coding 搓了个 Agent 平台，然后被自己的测试框架狠狠“教育“了一顿

本文作者分享了自己用VibeCoding开发的轻量级Agent平台经历的两轮测试。第一轮简单测试仅发现2个小Bug（API设计规范问题），但当使用专业的SkillsV3.1测试框架进行全面深度测试（包含安全、性能、边界、UI自动化等55+场景）后，又发现了2个关键问题：空字符串任务校验缺失和并发reset接口线程安全问题。测试过程展示了专业测试框架的价值——不仅能验证基础功能，更能通过边界测试、压力测试等方法发现深层隐患。作者总结道：测试广度不等于深度，AI助手的能力取决于使用者的提问质量，并计划将这套测试

2026-07-16 08:35:29 226

原创【skills5】一份 spec 生成 k6/JMeter/Locust：性能压测 + 全站截图，上线前的双保险

本文介绍了AI测试技能包中的性能压测和视觉巡检方案。性能压测采用"一份spec生成三种脚本(k6/JMeter/Locust)"的模式，通过声明式配置降低门槛，并构建分析-规划-执行-报告四阶段流水线。视觉巡检通过Playwright全站截图生成HTML报告，作为上线前的视觉兜底。两者共同组成发布前的"双保险"：压测保障性能指标，截图保障UI展示。文章还分享了性能瓶颈检查清单、AI辅助报告解读等实用技巧，并指出实现难点在于与spec体系、CI门禁的深度集成。最后预告下

2026-07-12 17:20:27 357

原创【skills4】UI 自动化不脆弱了：七层定位降级链，让 Playwright 脚本学会自救

UI 自动化维护难，不是因为 Playwright 不好用，而是因为我们一直用"硬编码"的思路去定位"软变化"的元素。页面是会变的，而定位器是静态的——这个矛盾，才是 UI 自动化维护成本居高不下的根本原因。解决思路不是"写得更好"，而是"写得更有弹性"——给每个元素准备多套定位方案，一套不行换一套，七套都试过了还不行？标记 warning，等人复核。下一篇，我专讲性能压测——怎么从一份 spec 生成 k6/JMeter/Locust 脚本？压测报告怎么做成自动化流水线？

2026-07-11 10:06:46 584

原创【skills3】团队踩过的坑，AI 能记住不重复犯？我做了个 RAG 知识库 + 自愈引擎

这篇文章介绍了两个提升AI测试效率的核心模块：RAG知识库和接口自动化自愈引擎。 RAG知识库通过预检索机制，在生成测试用例前主动注入历史经验（如bug记录、最佳实践等），解决测试经验难以沉淀的问题。系统采用四阶段检索链路（关键词+向量+RRF+Rerank）和三类数据回灌来源（失败用例、人工录入、历史用例），实现知识自动复用。自愈引擎针对接口测试常见的环境问题（如token过期、服务宕机等），设计了五类自愈策略（401刷新、500重试、429限流处理等），通过运行时自动修复降低误报率。该机制与变量池、缺

2026-07-10 08:21:22 367

原创【skills2】你还在手写测试用例？我让 AI 按 8 维矩阵生成，不用写一行代码

spec 是核心输入，Markdown + YAML，自然语言 + 结构化配置kind 决定生成方向，API、UI、压测、移动端，一个 spec 搞定8 维矩阵保证用例覆盖，AI 按框架思考，不会遗漏step6 门禁做可执行校验，问题暴露在生成阶段人审核 + 一键生成，人在回路中把关，机器做重复劳动你可以把 8 维矩阵、声明式 spec 这些思路带回自己团队试——它们本身就有价值。

2026-07-09 08:22:01 330

原创【skills】我花半年做了套 AI 测试框架：21 个目录、133 个文档、不写一行测试代码也能跑自动化

现在都要求AI提效，大家肯定也用过通用AI工具写测试脚本，结果它每次给的代码都不一样，同一个接口今天用 requests、明天用 httpx，断言风格也不统一。更崩溃的是，老员工一走，他积累的那些测试经验——哪个接口容易超时、哪个参数容易越界、哪个场景容易漏测——就跟着人一起走了。这是我的一整套skills，21 个目录、133 个文档、15 个可执行脚本，我叫它"AI 测试技能包"。这篇文章，我想跟你聊聊它的设计思路——不教你怎么装怎么用，而是讲清楚。

2026-07-08 08:29:59 223

原创【测试工具】Reqable抓包工具保姆级教程：小白也能轻松上手的HTTP调试神器

文章摘要 Reqable是一款跨平台HTTP(S)抓包与API测试工具，集成了Fiddler、Charles和Postman的核心功能，支持HTTP/1.x/2、WebSocket等协议，提供HTTPS解密、弱网模拟、断点调试、Python脚本拦截等高级特性。其轻量化设计（基于Rust+Flutter）和免费社区版降低了使用门槛，适用于Web/移动端调试、接口性能分析及多环境管理。通过代理抓包、RESTClient测试、环境变量和Mock服务等功能，Reqable能高效梳理接口调用关系，辅助自动化测试。与同

2026-07-07 08:46:30 1108

原创【AI测试智能体15】回归测试与版本管理：LLM 更新后的行为漂移

本文介绍了LLM版本升级时的回归测试方法论。通过电商数据分析智能体案例，展示了qwen-plus到qwen3.5-plus升级时30%用例行为发生变化的情况。提出了三层测试体系：黄金用例集（30-50个核心功能用例）、参考用例集（50-100个非核心用例）和探索用例集（新场景测试）。重点阐述了行为差异检测方法，包括版本对比看板、Diff报告生成和灰度发布策略。提供了黄金用例集模板、Python实现代码和实测数据，建议通过锁定版本、设置质量门禁来控制升级风险。适用于工具型Agent场景，强调通过少量精准用例实

2026-07-05 16:32:26 654

原创【AI测试智能体14】稳定性与鲁棒性测试：扰动、噪声、失败注入

摘要：本文探讨了智能体（如LLM）在稳定性与鲁棒性测试中的关键挑战，提出通过扰动注入模拟生产环境异常（如网络延迟、工具失败、输入截断等），评估智能体在非理想条件下的表现。测试涵盖四类扰动：输入扰动（如数据掺假、删词）、环境噪声（如API限流、磁盘满）、状态异常（如内存泄漏）、模型波动（如temperature变化）。通过Chaos测试框架（含代码示例）实测发现：工具失败30%时成功率骤降至40%，而网络延迟仅增加耗时，组合扰动可能导致成功率进一步下降。交付物包括17种扰动用例集、稳定性达标标准及随机种子扰

2026-07-03 07:47:48 614

原创 AI测试智能体（agent）实战 3：跑一次完整评测，看看你的 Agent 几斤几两

《AI测试智能体评测实战：环境搭建与评分机制解析》摘要：本文基于测试员周周的AI测试智能体系列文章，系统梳理了评测环境搭建与评分机制设计要点。环境搭建强调隔离性与可重复性，仅需Python3.8+和APIKey即可运行Mock工具链的轻量级测试环境。评测过程涵盖任务规划、工具使用等5个维度，采用混合评分机制：代码能力等硬评分维度通过执行结果客观判定，对话能力等软评分维度借助LLM语义判断。质量门禁设定综合3.0分及格线，安全测试实行一票否决，并通过稳定性测试（10次重复执行）验证结果一致性。实践建议包括关

2026-06-23 07:55:38 419

原创【大模型评测系列】我用 10 条真实任务对比了 GLM-5.1（百炼） vs GLM-5.2（百炼） vs DeepSeek-V4-Pro（官方）

本次评测对比了GLM-5.1、GLM-5.2和DeepSeek-V4-Pro三个大模型在10项真实测试任务中的表现。结果显示：三个模型均实现100%任务通过率，质量接近；但DeepSeek-V4-Pro在效率上优势显著，平均耗时25.2秒（比GLM-5.1快59%），平均Token消耗2092（节省38.7%）。评测涵盖用例生成、脚本编写、性能分析等测试工程全链路任务，发现国产模型已具备实用能力，但速度与成本差异明显。建议企业选型时通过真实任务测试三维数据（质量/速度/成本），而非仅参考宣传指标。完整评测框

2026-06-18 07:34:06 1461

原创【大模型评测】我用 10 条真实任务对比了 GLM-5.1（百炼） vs GLM-5.2（百炼） vs DeepSeek-V4-Pro（官方）

文章摘要：测试员周周对GLM-5.1、GLM-5.2和DeepSeek-V4-Pro三款大模型进行了真实场景评测，覆盖10项测试工程任务。结果显示：通过率：三模型均达100%，输出质量接近；效率：DeepSeek-V4-Pro显著领先，平均耗时25.2秒（比GLM-5.1快59%），Token消耗减少38.7%；成本：DeepSeek估算成本最低（0.84元/万Token）。核心结论：国产模型能力趋近，但速度与Token效率差异明显。建议新模型选型时结合真实任务数据，避免仅参考宣传指标。评测框架与

2026-06-18 07:13:24 1036

原创【AI测试智能体】拒绝玄学调参！我用 30 次真实 LLM 调用，拆解了 Agent 性能崩盘的 3 个维度

本文探讨了智能体性能测试的关键维度，通过真实电商场景案例揭示了仅功能测试的不足。文章提出性能测试三大核心指标：1)延迟（需关注P50/P90/P99分位数），2)Token预算（直接影响成本，需建立消耗模型），3)并发能力（高负载下的稳定性）。测试数据显示，典型任务如销售报告生成的平均延迟达45秒，Token消耗约8000（成本0.5元/次），并发性能随请求量显著下降。作者提供了完整测试方案（含Python实现）和达标标准（如P90<30s、Token<5000），并强调性能与功能的同等重要性—

2026-06-17 23:44:25 349

原创【免费送】自学软件测试最大的坑：没有业务系统！

《真实业务场景下的测试实战：电商进销存系统全链路训练方案》摘要：针对测试人员自学过程中缺乏真实业务场景的痛点，作者开发了一套企业级电商进销存财务一体化系统。该系统涵盖商品管理、秒杀系统、采购销售、库存财务等完整业务链路，采用前后端分离架构（Vue3+Flask+MySQL+Redis），通过Docker一键部署。每个模块对应核心测试技能训练：商品CRUD练接口测试、秒杀系统练性能测试（含6种防超卖机制）、进销存流程练业务测试、财务模块练数据一致性校验、前端页面练UI自动化。系统提供从接口测试到持续集成的

2026-06-14 08:00:00 367

原创【AI测试智能体】智能体不做这两件事，上线就是事故：幻觉检测与注入防御实战

本文摘要：针对大语言模型（LLM）在电商场景中的幻觉和安全隐患，提出系统化测试方案。知识测试涵盖事实性（准确率）、推理（正确率）和幻觉检测（虚构问题编造率），实测显示未优化的模型幻觉率高达70%。安全测试聚焦四类攻击：有害内容、隐私泄露、Prompt注入和Jailbreak，关键发现包括：规则过滤对已知攻击拦截率100%，但需结合LLM检测应对变体攻击。交付物包含标准测试集（如30个事实问题、20个幻觉触发用例、15种注入攻击向量），并给出安全评分公式。文末指出：知识准确性（幻觉率＜5%）和安全性（攻击拦

2026-06-12 23:16:59 509

原创【AI测试智能体】Tool、Toolset、Skill、Agent、MCP——五个概念，一篇彻底搞懂

本文用生活化的比喻清晰区分了AI开发中的五个核心概念： Tool（工具）：单一功能的"傻小子"（如厨房电器），只管执行不问原因 Toolset（工具集）：按岗位分配的工具箱（如装修队不同工种的专用工具），控制权限范围 Skill（技能）：操作指南（如菜谱），知道"先做什么后做什么"的方法论 Agent（智能体）：自主决策的"大厨"，能规划、执行、调整整个任务流程 MCP（协议）：万能插座式接口，让AI能连接任何符合标准的第三方服务通过"

2026-06-11 08:09:07 1784

空空如也

空空如也