关于服务端反爬虫的限制及告警方案

前言

        当前对于一些大型网站的开放式服务，有相当一部分流量都是爬虫程序导致，大概占比在20%左右，爬虫程序会增加服务端数据及流量开销、内部资料外泄等很多问题。
        反爬虫也成了当前服务端需要关注的一些问题，其中笔者所在的组内就遇到了被爬虫程序恶意爬取免费资源的问题，因此开始研究关于反爬虫的限流方案及对应类似爬虫程序的告警方案。

正文

        本反爬虫方案主要包括封禁及告警两部分。

爬虫限制方案

        对于爬虫程序的限制方案，当前有以下的识别方式。

1. 通过User-Agent限制

        无论是客户端、浏览器还是爬虫程序，在进行http请求时都会在header中附带一个user-agent字段，类似于表明身份的意思，如Taobao/7.7.1 (iPad; iOS 12.1; Scale/2.00)，rest-client/2.1.0 (darwin18.6.0 x86_64) ruby/2.6.3p62等，因此可以通过对请求中header进行过滤，如果不是正常的设备ua，则返回异常。

优点：简单，且误伤率很低，可在nginx配置。

缺点：非常容易绕过，user-agent字段可以进行抓包后伪造。

2. ip封禁

        在nginx网关层或者服务端自身对ip访问频次做监控，如果高于某个阈值则进行ip暂时封禁策略。

优点：简单。

缺点：稍微高级爬虫会有一系列的公网ip池做代理，这种情况无法预防；误伤率较