16、Web Runner 2049：评估第三方反机器人服务

Web Runner 2049：评估第三方反机器人服务

1. 背景

如今，网络上恶意机器人攻击频发，如使用从其他网站窃取的凭证进行暴力破解登录表单（凭证填充），拼车公司从竞争对手网站抓取定价和车辆信息，以及机器人针对航空业导致查询预订比增加从而提高费用等。据估计，网络上超 50% 的流量来自机器人，其中超半数为恶意机器人。

为应对这些威胁，专业的反机器人服务应运而生。这些服务声称利用多种技术进行机器人检测和拦截，但它们的实际运行效果尚未得到评估。

1.1 恶意机器人检测方法

此前的研究提出了多种检测恶意机器人的方法：
- 基于行为的检测 ：机器人浏览网站的方式与真实用户不同。
- 基于访问普通用户不可见内容的检测 ：通过检测对这类内容的访问来识别机器人。
- 基于浏览器指纹的检测 ：收集浏览器、操作系统和硬件等信息，形成独特的指纹来识别机器人。

当网站怀疑访客是机器人时，可要求其解决验证码、限制用户访问速率或直接阻止来自该 IP 地址的流量。

1.2 第三方反机器人服务的出现

虽然网站开发者可以尝试实现上述检测技术，但小型网站开发者可能难以跟上机器人作者的更新步伐。因此，出现了专门销售机器人检测服务的新业务，类似于抗 DDoS 公司为客户抵御 DDoS 攻击。

网站所有者可以将这些服务集成到自己的网站中，无需了解机器人的识别原理即可阻止机器人。使用这些服务的一个主要好处是后台的威胁信息共享。如果在网站 A 检测到具有特定特征的机器人