平台无关实验基础设施:实现高效实验的新途径
1. 地理编码服务评估
地理编码服务若表现不佳,会严重影响客户体验,甚至促使客户未来转向其他服务。为评估该服务,需开展实验,重点考察两方面:一是服务能否及时响应(即页面总加载时间),二是服务集成是否能增加客户互动(如页面浏览量)。传统软件测试在此并不适用,因为实际中遇到的各种环境差异(如操作系统、网络稳定性)难以低成本模拟。此外,还需测量请求失败或响应为空的数量,因为不确定外部服务能否为每个可能的位置提供描述。
2. 平台无关实验基础设施概述
平台无关实验基础设施基于特定架构,包含以下服务:
- 转换服务 :将实验定义转换为适合不同任务的表示形式,如用于分析软件的 CSV 格式、用于会议的交互式 HTML 表单或用于报告的文本描述,还可通过扩展使表示形式可编辑。
- 知识服务 :回答关于过去实验的问题,可对过去的实验定义(JSON 文档集合)执行查询(基于术语的搜索),是将过去实验知识库引入实验过程的轻量级方法。
- 验证服务 :确保实验定义在语法上正确,并遵循所有定义的项目和组织规则。
- 执行服务 :将实验部署到实验平台上执行,还可扩展以监控指标(如点击率),必要时发出警报或停止实验。在示例中,还可在团队的项目板(Trello)上创建卡片。
- 数据服务 :从实验平台下载数据,使实验平台对利益相关者透明。
以下是基础设施的服务关系 mermaid 流程图: