爬虫攻防战：反爬与反反爬全解析

反爬与反反爬

常见的反爬手段和解决思路

1 服务器反爬的原因

• 爬虫占总PV(PV是指页面的访问次数，每打开或刷新一次页面，就算做一个pv)比例较高，这样浪费钱（尤其是三月份爬虫）。 三月份爬虫是个什么概念呢？每年的三月份我们会迎接一次爬虫高峰期，有大量的硕士在写论文的时候会选择爬虫一些任务时，并进行舆情分析。因为五月份交论文，所以嘛，大家都是读过书的，你们懂的，前期各种botA、LOL，到了三月份了，来不及了，赶紧抓数据，四月份分析一下，五月份交论文，就是这么个节奏。

• 公司可免费查询的资源被批量抓走，丧失竞争力，这样少赚钱。 数据可以在非登录状态下直接被查询。如果强制登陆，那么可以通过封杀账号的方式让对方付出代价，这也是很多网站的做法。但是不强制对方登录。那么如果没有反爬虫，对方就可以批量复制的信息，公司竞争力就会大大减少。竞争对手可以抓到数据，时间长了用户就会知道，只需要去竞争对手那里就可以了，没必要来我们网站，这对我们是不利的。

• 快传爬虫成功的几率小 爬虫在国内还是个擦边球，就是有可能可以起玩成功，也可能完全无效。所以还是需要用技术手段来做最后的保障。

2 服务器常反什么样的爬虫

• 十分低级的应届毕业生 应届毕业生的爬虫通常简单粗暴，根本不管服务器压力，加上人数不可预测，很容易把站点弄挂。

• 十分低级的创业小公司 现在的创业公司越来越多，发现自己手头没有数据。怎么办？写爬虫爬啊。于是就有了不计其数的小爬虫，出于公司生死存亡的考虑，不断爬取数据。

• 不小心写错了