Monkey自动化工具结合B端组件可行性探索

背景介绍

日常的迭代或者技术改造之后，系统常常会出现一些功能丢失、新增接口权限和页面白屏等问题。尽管事后可以依靠 监控大盘查看监控数据来定位问题，但是这些手段是滞后的，无法提前发现系统已有问题。

为了保障系统的稳定性和强壮性，常见的方法包括代码层面覆盖单元测试，保证已有代码的强壮性，如前端平台商家组已经推行单元测试用例覆盖，但是也存在以下问题：

• 单元测试测试颗粒度较小

• 大部分单侧逻辑局限于函数级别的验证，难以覆盖整体流程

除了单元测试保障之外，系统集成测试在保障质量方面也起着重要作用。然而，集成测试同样面临时间成本高、遗漏问题、重复性测试等挑战。特别是在功能全量回归场景下, 测试用例数量庞大，手动回归测试变得非常繁琐。尽管业界已经有一些成熟的自动化回归集成方案，例如通过录制手段来自动生成测试用例，但这种方案仍然存在一些挑战：

• 改变研发流程具有挑战性 ：研发团队通常会专注于新功能的开发和问题修复，所以增加测试用例录制的环节可能会对时间和资源带来压力。

• 用例维护成本较高 ： 在敏捷迭代中，页面UI频繁变动和核心链路不断更新迭代, 录制生成的测试用例可能在下一次迭代中变得不再适用或无法执行,意味着测试用例需要进行不断的更新和维护。

确实，为了应对迭代变更带来的挑战，的确需要寻找更灵活有效的自动化回归方案。我们研发了一款创新的测试工具— Monkey Testing(简称Monkey)。本文将深入阐述Monkey的出发点、创新过程以及落地情况，探讨其可行性和价值。

Monkey诞生

Monkey , 也有人叫做搞怪测试，一般指用毫无规律的指令或操作去测试被测系统，观察被测系统的稳定性。

出发点

基于Monkey自动化平台与前端平台B端大仓组件的配套研究方向，围绕B端单品组件ProTable、ProForm自动化测试可行性验证。首先模拟真实用户行为, 通过数据填充，模拟不同类型的数据输入，并通过Click事件触发条件搜索, 来达到验证接口异常场景下的健壮性的目的。同时，我们将通过劫持请求、捕获JS执行上下文错误、网页截图判定白屏等方式，发现潜在的稳定性问题，从而提高系统的稳定性。 我们提供低成本的自动化回归方案，需要具有以下效果：

• 测试流程的自动化 , 降低测试成本同时提高准确性和覆盖率。

• 线上问题前置化 ，及早现版本可能存在 白屏、接口请求响应异常、JavaScript运行时报错等常见的通用问题，保障系统在线上环境的稳定性。

核心能力介绍

Monkey端侧自动化能力

Monkey平台化能力建设

Monkey自动化测试核心流程

上述Monkey自动化测试实现 ，主要分为以下四个阶段：

• 准备阶段： 在这个阶段，首先需要进行B端SSO系统的免登，以确保Monkey能够正常登录系统。同时还需要获取天网菜单数据源，以便后续的操作可以正确地找到对应的页面和元素。

• 执行阶段：在这个阶段，使用Puppeteer提供的客户端浏览器环境，搭载随机测试脚本，模拟用户的行为操作(简称Monkey Runner)。通过这种方式，Monkey执行ProTable、ProForm测试模型用例，包括点击、输入、选择等，以覆盖不同的测试场景。

• 数据劫持：在执行阶段下的操作行为中，Puppeteer会捕获异常情况。这些异常可能包括页面加载失败、元素找不到等问题。通过捕获这些异常，可以及时发现并处理潜在的问题，以提高系统稳定性。

• 数据清洗：在这个阶段，基于Node服务实现数据上报和清洗。Monkey会将执行阶段下的操作行为数据上报给后台服务，后台服务可以对这些数据进行分析和处理，以生成测试报告、统计指标等。同时，也可以对数据进行清洗，以去除无效或冗余的信息，保持数据的准确性和可用性。

Monkey创新过程