你一定想不到，实现一个AI自动化测试工具居然那么容易！（基础篇）

1.前言
闲鱼质量团队一直致力于交付高质量的app给用户，当前随着AI技术不断发展，TensorFlow大热，也给测试手段带来了更多种可能，本文接下来给大家介绍AI在闲鱼测试的一点实践：如何应用AI技术通过图片找bug。

2.模型选型
不需要理解业务就能发现的bug主要有整体页面空白、部分控件显示异常和文本异常这几类。对于整体空白图片，发现它们的共同特征是比较明显：大面积空白或者中心区域报错，所以选择使用TensorFlow搭建的简单CNN模型来识别正常图片和异常图片。对于文本异常这类包含乱码的图片，则是用OCR+LSTM建立了一个简单的汉字识别模型来识别图片中的文本内容后判断是否存在乱码。
训练以上模型的样本则来源于bug历史截图和mock的正向数据样本。

3.模型重训练——提高模型识别准确率
初始模型在训练时样本有限，但随着app不停更新迭代，图片检测样本数量的逐渐增多，会出现某些新页面被错误分类，要解决这类误报问题，亟需加入模型重训练。
显然靠人肉启动模型重训练并替换旧模型成本太高，所以在前端实现了个勾选图片去重训练的入口，通过Jenkins定时任务，读取所有重训练图片并执行重训练脚本，并把旧模型替换成新生成的即可。经过几轮自动迭代后模型识别准确率有大幅提升。

4.图片处理——提升结果的人工甄别效率

4.1特殊截图
有些截图可能是存在大面积空白，但从业务角度上来说这类图片是正确的，比如搜索中间页。此类若不处理，每次都会被识别为异常图片上报，浪费大家check的时间，若放入模型进行重训练又有导致模型不收敛的风险。为了解决这类图片，维护了一个图库，对模型识别为异常的图片，会与图库中的图片进行对比，如果与图库中任意一张相似度超过设定阈值，即认为该图片可被忽略不用上报。

4.2图片去重
目前遍历截图任务为了保证页面上所有元素都取到，单次遍历任务会至少访问同一个页面两次；同时遍历时，为了方便页面上下文分析，会对点击元素用红框标记。这带来了一个问题：待识别图片集中，同一个页面会有多张重复截图、且同一页面上可能会在不同的地方有红框标记。人工检验大量重复图片识别结果难免视觉疲劳，所以展示去重后的结果可以大大提升人工甄别效率，减少成本。