1.精准分析
1.1需求规格书和用户使用场景分析
1.2代码分析,分析代码改动和影响模块
1.3差异化分析,分析业务实现的差异化
---通过上述三层分析减少回归范围,节省人工成本,降低发布风险
2.制定测试策略
物料准备:包括人力资源协调、测试数据准备
测试计划:功能测试、兼容性测试、性能测试等,具体的阶段性完成目标
风险评估:潜在的风险以及对应的解决方案
3.测试准入
测试准入是指允许开发转测/提测的标准,只有开发的提测版本达到标准后,测试人员才会正式介入进行测试验收,基础的准入标准有:
- 「必须」一级测试用例测试通过
- 「非必需」接口自动化成功率>80%
4.执行测试
测试在测试的整个生命周期中常见的准则:
- 八二准则,80%覆盖测试用例,20%根据经验进行探索测试
- 倒三角准则,从「测试」环境-到「预发」环境-到「正式」环境,验证的内容从「详细测试」-「基础流程」-「主流程」逐步减少
- 兜底质量保证,stage环境必须验证的checklist覆盖的基础流程
5.发布准则
「必须」基线用例执行率100%
「必须」无遗留开启状态的问题
「必须」暂缓延期处理问题已经过风险评估
「必须」风险问题已制定对应的解决方案
「非必需」接口自动化代码覆盖率>80%(代码覆盖率无法统计移步处理的部分代码)
5.发布留观监控
通过日志和可观测平台,关注发布后的错误率、调用量情况
- 错误率上涨代表当前发布的版本存在问题
- 调用量暴涨:表示功能异常导致用户不断的进行重试
6.日常自动化巡检
- 功能巡检:通过接口自动化以用户故事场景的方式进行基础功能巡检
- 错误巡检:通过巡检用户产生的数据的「错误」状态触发告警,及时发现问题
7.常见问题梳理
梳理用户反馈常见的问题,例如登录的账号风险监测逻辑限制、短信安全限制等,由于系统设计,导致用户使用问题的,提前梳理好对应的说明
梳理用户问题常见的自助排查手段,提供给用户支持或者客服自助初步排查问题,提高问题处理效率。