运维工作中对反爬虫的一些思考

关注

原创 2024-08-04 08:52:00 2k 阅读 AI 写同款· GEO 优化 ›

轻量级内容聚合平台架构解析：从域名到资源分发的技术实践内容聚合平台是互联网信息分发的常见模式，其核心原理是通过技术手段将分散的资源进行索引、分类和集中呈现，从而缩短用户获取信息的路径。在技术实现上，这类平台通常采用极简架构，例如使用静态HTML页面配合轻量级后端（如PHP或Python框架），结合数据库进行资源管理，以实现低成本、高效率的部署与维护。其技术价值在于能够精准满足用户对特定资源（如软件、文档、影音）的直接获取需求，尤其在小众、专业或历史版本资源领域优势明显。应用场景广泛覆盖开发者工具分享、学习资料归档、影视资源聚合等。本文以典型域名i.20079. 阅读详情

最近运维工作中单位的网站被攻击，我们的反爬虫系统已经比较严格了，突然有5个用户登录30多万次经我们查找发现，用户是正常登录，这一异常被我们的技术部门捕捉到第一时间响应，没想到常规架构已经不足以应付现在的技术了，对反爬虫做一个总结。

文章目录

一、事件起由

门户网站的登录页面突然加载时间变成原来的4到5倍，部门快速响应，排查原因，没有被异常攻击，后来发现5个正常登录的用户登录次数过于频繁，明显不是人类能达到的手速，而我们的网站还有图片验证，这是有意而为的爬虫行为，所以我们部门快速响应，指定方案。
在这里插入图片描述

二、爬虫类型

1、身份伪装

自定义Headers请求

request = urllib.request.Request(url,headers=head)

user-agent修改：修改存储的系统和浏览器的型号版本信息
referer修改：不直接发起请求，修改检查请求的来源URL
cookie修改：观察需爬虫网站的Cookie格式，并进行伪造

headers = {'Referer':'https://accounts.pixiv.net/loginlang=zh&source=pc&view_type=page&ref=wwwtop_accounts_index',#如某些网站（如p站）要检查referer，就给他加上
           'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.146 Safari/537.36'#每个爬虫必备的伪装
          }
r = requests.get("https://segmentfault.com/a/1190000014383966",headers=headers)

2、降低主IP访问频率

休眠：降低访问频率和次数
ip代理：使用环境变量 http_proxy 来设置 HTTP Proxy

proxies={ 'http': 'http://xx.xx.xx.xx:xx' }

time.sleep(60)#用python自带time模块的休眠功能
proxies = {'http': 'http://10.10.1.10:3128',#“协议类型：完整ip地址+端号”
           'https': 'http://10.10.1.10:1080'}#代理ip字典，随机调用
r = requests.get(url,headers=headers,proxies=proxies)

三、编写基础爬虫原理

在进行反爬虫工作之前，首先需要掌握如何编写基础的爬虫程序。
目前，网络上关于爬虫的资料相对有限，通常仅提供一段Python代码示例。尽管Python是一门强大的编程语言，但针对已实施反爬虫措施的网站，Python并非最佳选择。
讽刺的是，许多公开的Python爬虫代码通常会使用一个名为lynx的用户代理（User-Agent）。至于如何处理这个User-Agent，这里无需多言。

编写爬虫程序通常需要经过以下几个步骤：

1、分析页面请求格式

理解目标页面的请求结构和数据传输方式。

2、构建合适的HTTP请求

根据页面分析结果，创建与目标网站交互的HTTP请求。

3、批量发送HTTP请求并获取数据

通过循环发送HTTP请求，批量获取所需数据。

例如，当你访问一个在线购物网站时，你可能会在产品详情页点击“加入购物车”按钮，这会触发页面加载并更新购物车中的商品数量和总价。如果你的目标是获取购物车中的产品信息，你需要确定哪个网络请求包含这些数据。

一个有效的做法是通过浏览器的开发者工具查看网络请求。在分析这些请求时，你可以通过数据传输量来筛选和排序。通常，包含重要数据的请求会传输较大的数据量，而其他请求则相对较小。通过这种方法，你可以快速找到与购物车信息相关的请求，从中提取所需的数据。只需根据网络传输的数据量对请求进行倒序排列。尽管页面可能生成多个复杂的URL，开发人员通常不会将大量数据附加在无关的请求上

四、编写高级爬虫原理

编写高级爬虫进阶技巧包括以下几种：

1、分布式爬虫

一些教程建议将爬虫分布式部署在多台机器上，以提高抓取效率。然而，这种说法并不完全正确。分布式爬虫的主要目的是规避目标网站对单个IP的封禁。封IP是反爬虫的终极手段，虽然非常有效，但也可能误伤正常用户。

2、模拟JavaScript

有些教程将模拟JavaScript和抓取动态网页视为进阶技巧，但实际上，这只是一个基础功能。如果目标网站没有实施反爬虫措施，你可以直接抓取Ajax请求的数据，无需过多关注JavaScript的处理过程。但如果对方采取了反爬虫措施，JavaScript的逻辑往往会变得复杂，此时关键在于深入分析，而不仅仅是简单的模拟。因此，掌握JavaScript模拟应当视为基本功。

3、使用PhantomJS

PhantomJS是一个极端的例子。它原本是用于自动化测试的工具，但由于其强大的功能，许多人将其用于爬虫。然而，PhantomJS有一个明显的缺点：效率低。此外，PhantomJS本身也容易被检测到，尽管涉及的技术细节较为复杂，这里不再详述。

五、不同级别爬虫的优缺点分析

较低级的爬虫虽然容易被封锁，但其性能优越，成本较低。而越是高级的爬虫，虽然难以被封锁，但其性能较低，成本也显著增加。

爬虫级别	性能	成本
低级	高	低
高级	低	高

当反爬虫的成本高到一定程度时，继续封锁爬虫就可能变得不再必要。在经济学中，这种现象被称为边际效应，即当成本增加到某个临界点时，额外的收益将逐渐减少。

因此，在对比双方资源时，我们可以发现，执意与对方在反爬虫技术上较量并不划算。应当找到一个最佳平衡点，超过这一点时，不妨允许其继续爬取数据。毕竟，反爬虫的目标是基于商业利益，而非为了显示技术能力。

六、反爬虫系统设计的常规架构

1、对访问量进行统计，并封锁超过阈值的单个IP地址

这种方法虽然有效，但存在两个明显缺陷。首先，它容易误伤普通用户；其次，IP资源成本低廉，可以轻易购买大量IP地址。因此，从总体上看，这种策略的性价比不高。然而，对于初级爬虫，仍然有一定的效果。

2、对访问量进行统计，并封锁超过阈值的单个会话（session）

虽然看起来更高级一些，但效果实际上更差。因为session同样不具备成本，可以轻松重新生成。因此，这种方法的有效性有限。

3、对访问量进行统计，并封锁超过阈值的单个用户代理（userAgent）

这是一个强有力的策略，类似于使用抗生素，效果显著，但副作用也大。误伤普通用户的风险很高，使用时需格外谨慎。我们至今只在极少数情况下短暂封锁过特定平台下的浏览器。

4、组合使用

将这些措施结合起来使用，可以提升整体的防护能力，同时降低误伤率。在应对低级爬虫时，这种组合策略相对有效。

由此可见，反爬虫与爬虫之间实际上是一场博弈。最终的赢家往往是那些有资源投入的“玩家”。由于上述方法效果各有优劣，因此，使用JavaScript进行防护通常更为可靠。

七、总结

我们的网站使用的是随机校验码，由于我们是3级防护等级，12306是4级，成本达不到。所以按照现有的最优解决方案，我们升级了我们的随机校验码，暂时阻止了此次攻击，未来如果还有类似的攻击，我们准备加入手机短信的验证，进一步遏制恶意登录操作。这次事件为我们的网络安全防护带来了重要启示，并成为我们反爬虫技术的核心理念之一：及时变更。

参考文献：
[1]携程技术中心. 关于反爬虫，看这一篇就够了[R/OL][2016-06-30].https://segmentfault.com/a/1190000005840672
[2]忍野忍.Python 从零开始爬虫(零)——爬虫思路&requests模块使用[R/OL][2018-04-14].https://segmentfault.com/a/1190000014383966
[3]忍野忍.Python 从零开始爬虫(一)——爬虫伪装&反“反爬”[R/OL][2018-04-14].https://segmentfault.com/a/1190000014431323