打开弱网工具,可以设置延迟、抖动、带宽和丢包,还能分别调整上下行。
每一项似乎都应该测。再加上不同手机、前后台状态,以及登录、浏览、提交等业务流程,测试表很快就长到没人愿意打开。
如果延迟、抖动、带宽和丢包各选三档,光这四项就有 81 种组合。还没算网络在什么时候变化,也没算要重复执行多少轮。
把参数全部排列出来不难。难的是说明:为什么要跑这一条,它能发现哪一种其他用例没有覆盖的问题?
前面讨论过怎样判断弱网测试是否通过。这篇往前退一步,聊聊时间有限时,应该先把哪些测试放进来。
先列可能的损失,再挑网络参数
拿一个支持浏览、编辑和提交的应用来说,图片晚出现几秒、草稿丢失、同一条操作被执行两次,后果显然不一样。
如果时间只够补三条用例,优先级不应该由“哪个参数看起来更恶劣”决定。
可以先梳理关键流程:失败后用户会损失什么?有没有办法自行恢复?会影响多少人?最近的改动有没有碰到这条路径?
发生频率低但后果严重的流程,仍然值得优先覆盖。相反,一个极端组合即使能把装饰图片卡住,也未必比普通网络波动下的草稿丢失更紧急。
这一步不用做成复杂评分模型。能解释清楚“为什么先测它”,就已经比按丢包率从小到大机械执行更有价值。
同样断五秒,发生的时机可能更重要
假设一次操作经历填写、提交、等待结果和展示完成几个阶段。
断网发生在填写时,主要关注本地内容和状态提示;发生在提交过程中,关注操作处于什么状态;发生在结果返回前后,则可能暴露客户端对最终状态的理解问题。
这里不是要给每个按钮配上所有网络组合。更实用的做法,是找出状态发生变化的边界。
例如,从“尚未发起”变成“已经发起”,从“等待结果”变成“已经完成”,以及用户取消或离开页面的时刻。这些位置更容易出现两边理解不一致、任务没有结束干净等问题。
相比连续换十档延迟,在一个关键边界前后各做一次短暂中断,有时更能找到有意义的缺陷。
要注意,手动断网很难保证每次恰好落在同一时刻。记录实际发生的位置,比在用例里写一个漂亮的时间点更重要;无法稳定命中的场景,应保留这个限制。
先做一套能解释用途的小基线
对于以请求和响应为主的应用,可以先用下面这类小集合起步。它是选型示例,不是所有产品通用的完整清单。
| 条件 | 主要想发现什么 |
|---|---|
| 正常网络 | 流程本身是否正常,为其他结果提供对照 |
| 增加延迟 | 等待时间拉长后,状态和操作是否仍合理 |
| 限制带宽 | 传输变慢时,任务是否有进展、能否正常取消 |
| 短暂中断后恢复 | 任务和页面状态能否重新收敛 |
| 某个依赖不可用 | 局部失败是否拖垮本来还能使用的功能 |
档位从哪里来?优先参考实际用户环境、已有故障记录以及产品承诺支持的使用条件。暂时没有数据,可以先采用明确标为探索性的设置,之后再调整,不必假装一个随手填的数字代表真实地铁网络。
“部分依赖不可用”也不是所有工具都能精确模拟。按 IP 或路由处理流量,与针对某个业务请求制造失败,不是同一回事。共享地址、缓存和备用地址都可能改变影响范围,要确认实际伤到了哪里。
实时游戏或语音产品则应更早覆盖抖动、连续丢包和上下行不对称。不同产品的小基线,本来就应该不同。
每条用例,最好只先回答一个问题
如果一开始就同时加高延迟、低带宽、高丢包,再穿插网络切换,出现失败后很难知道什么条件起了主要作用。
先单独检查一个风险,能让结果更容易解释。确定基础行为后,再组合那些确实可能一起出现、或者共同影响同一机制的条件。
比如,单独增加延迟没有问题,单独限速也没有问题,但大响应在两者叠加时可能跨过任务的等待期限。这就是值得验证的交互,而不是为了把参数调满。
组合选择方法可以帮助压缩数量,但并不能保证覆盖所有多因素缺陷。线上已经出现过的特定组合,也不能因为不在某张通用组合表里就删掉。
同样,不要把一轮随机测试没出错当成稳定通过。需要重复多少次,取决于风险和结果波动。对容易偶发的问题,保留每轮环境、种子以及实际事件记录,才能继续比较;固定种子也不保证真实业务流量和线程调度完全相同。
故障回归用例,要保留“为什么失败过”
一次线上问题修好后,通常会新增一条回归用例。但如果只留下“丢包 20%,点击提交”,过几个月可能没人知道它当时保护了什么。
更有用的记录应该包含触发步骤、关键时机、原来的错误表现,以及希望保持的行为。
环境条件也要有版本。网络参数、应用版本、数据规模和是否有缓存,都可能影响复现。把历史场景保存下来后,后续调整不能悄悄改掉当时的条件。
用例多了还要合并。两条设置不同、实际却只检查同一个等待动画的用例,可以考虑保留更有效的一条;两条设置相似、但分别覆盖“结果未确认”和“用户取消”的用例,就未必重复。
去重应该看保护的行为,不能只比较参数表。
不必每次改动都跑完全部用例
可以按执行时机安排测试。
日常改动先跑与变更相关的关键路径、精简基线,以及容易被这次修改影响的历史故障用例。
版本发布前扩大到更多设备、代表性网络条件和完整业务流程,补足日常测试没有覆盖的交互。
长时间运行、真实移动网络、特定设备上的异常,则可以作为专项测试。耗时长不代表应该被放弃,但它不一定适合塞进每一次快速反馈。
这类分层可以手动执行,也可以逐步接入已有自动化流程,不要求先建一套新平台。
重要的是每次报告说清楚测了什么、没测什么。只跑过精简集,就写“精简集通过”,不要让一个绿色结果被理解成整个弱网能力都已经验证。
一条值得保留的用例,应该能回答这句话
“如果删掉它,我们会漏掉什么?”
答案可以是:漏掉短暂中断后的状态恢复;漏掉只有上行受限才出现的问题;漏掉某个历史版本曾发生过的数据丢失。
如果答案只是“别的参数都测了,这档也顺便测一下”,就值得重新评估。
删减之后,也要把尚未覆盖的风险留下来。有些是当前优先级较低,有些是缺少设备或环境,有些则是还不知道怎样可靠复现。它们不能因为没出现在执行表里就被当作不存在。
一套好维护的弱网用例,不一定很长。但拿出其中任何一条,团队都知道它为什么在这里,出了问题该看什么,删掉它又会失去什么保护。
7837



被折叠的 条评论
为什么被折叠?



