常见的反爬手段和解决思路

本文深入探讨了反反爬的主要思路和技术,包括模拟浏览器行为、使用User-Agent池、处理referer和cookie、应对JS加密和跳转,以及识别验证码等方法。同时,也提到了如何通过购买高质量IP和模仿用户行为来规避反爬机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

明确反反爬的主要思路

反反爬的主要思路就是:尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现

例如:浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2,带上了之前的cookie,代码中也可以这样去实现。

通过headers字段来反爬

headers中有很多字段,这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫

通过headers中的User-Agent字段来反爬

反爬原理:爬虫默认情况下没有User-Agent

解决方法:请求之前添加User-Agent即可;更好的方式是使用User-Agent池来解决(收集一堆User-Agent的方式,或者是随机生成User-Agent)

import random

def get_ua():
    first_num = random.randint(55, 62)
    third_num = random.randint(0, 3200)
    fourth_num = random.randint(0, 140)
    os_type = [
        '(Windows NT 6.1; WOW64)', '(Windows NT 10.0; WOW64)', '(X11; Linux x86_64)',
        '(Macintosh; Intel Mac OS X 10_12_6)'
    ]
    chrome_version = 'Chrome/{}.0.{}.{}'.format(first_num, third_num, fourth_num)

    ua = ' '.join(['Mozilla/5.0', random.choice(os_type), 'AppleWebKit/537.36',
                   '(KHTML, like Gecko)', chrome_version, 'Safari/537.36']
                  )
    return ua

 通过referer字段或者是其他字段来反爬

反爬原理:爬虫默认情况下不会带上referer字段

解决方法:添加referer字段(例如豆瓣美剧爬虫,详见课程1.3.2小节)

 通过cookie来反爬

如果目标网站不需要登录 每次请求带上前一次返回的cookie,比如requests模块的session

如果目标网站需要登录 准备多个账号,通过一个程序获取账号对应的cookie,组成cookie池,其他程序使用这些cookie

通过js来反爬

普通的爬虫默认情况下无法执行js,获取js执行之后的结果,所以很多时候对方服务器会通过js的技术实现反爬

 通过js实现跳转来反爬

反爬原理:js实现页面跳转,肉眼不可见

解决方法: 在chrome中点击perserve log按钮实现观察页面跳转情况

在这些请求中,如果请求数量很多,一般来讲,只有那些response中带cookie字段的请求是有用的,意味着通过这个请求,对方服务器有设置cookie到本地

通过js生成了请求参数

反爬原理:js生成了请求参数

解决方法:分析js,观察加密的实现过程,通过js2py获取js的执行结果,或者使用selenium来实现

通过js实现了数据的加密

反爬原理:js实现了数据的加密

解决方法:分析js,观察加密的实现过程,通过js2py获取js的执行结果,或者使用selenium来实现

 通过验证码来反爬

反爬原理:对方服务器通过弹出验证码强制验证用户浏览行为

解决方法:打码平台或者是机器学习的方法识别验证码,其中打码平台廉价易用,更值得推荐

通过ip地址来反爬

反爬原理:正常浏览器请求网站,速度不会太快,同一个ip大量请求了对方服务器,有更大的可能性会被识别为爬虫

解决方法:对应的通过购买高质量的ip的方式能够解决问题

通过用户行为来反爬

反爬原理:通过浏览器请求数据,很多用户行为会在浏览器中是很容易实现或者无法实现.比如浏览器请求额外的图片地址,服务端进行记录,出现意味着不是爬虫(爬虫中不会主动请求图片)

解决方法:通过获取数据的情况来观察请求,寻找异常出现的可能请求

### 阿里云机制概述 阿里云作为全球领先的云计算服务提供商之一,其机制主要依赖于多种技术手段来识别阻止恶意爬虫访问。这些措施通常包括但不限于IP封禁、请求频率限制以及复杂的验证码验证等[^1]。 为了有效应对阿里云的机制,可以从以下几个方面入手: --- ### IP 封禁规避方法 当取流量过大时,目标服务器可能会通过检测单一IP地址发出的大量请求而对其进行封锁。因此,可以采用代理池技术动态更换IP地址,从而降低被封的概率。具体实现可以通过集成第三方API获取匿名代理列表或者自行搭建私有代理池[^2]。 #### Python 实现示例 以下是构建基本代理切换逻辑的一个例子: ```python import requests from random import choice proxies_list = [ 'http://proxy1.example.com:8080', 'http://proxy2.example.com:9090' ] def get_random_proxy(): proxy_url = choice(proxies_list) return {'http': proxy_url, 'https': proxy_url} response = requests.get('https://example.org', proxies=get_random_proxy()) print(response.status_code) ``` --- ### 请求头伪装优化 许多网站会检查HTTP头部信息中的User-Agent字段判断来访者身份。如果发现异常,则可能触发额外的安全层防护。所以,在编写爬虫脚本的时候应该模拟真实浏览器的行为设置合理的Headers参数值。 下面展示了一个自定义Request Headers的例子: ```python headers = { "Accept": "*/*", "Connection": "keep-alive", "User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64)" "AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/80.0.3987.149 Safari/537.36"), } req = requests.Request(method='GET', url=targetUrl, headers=headers).prepare() session.send(req) ``` --- ### 动态内容抓取解决方案 部分网页采用了JavaScript渲染方式呈现最终显示效果给用户端查看。这类情况下单纯依靠传统的HTML解析库难以提取到所需数据项。此时可考虑引入Headless Browser工具如Selenium或Puppeteer完成交互式浏览过程自动化操作。 这里给出一段基于Pyppeteer加载异步加载页面片段代码: ```python async from pyppeteer.launch import launch browser = await launch(headless=True) page = await browser.newPage() await page.goto(url_target) # 执行js脚本来等待特定条件满足后再继续下一步动作 await page.waitForSelector('#content-loaded') html_content = await page.content() await browser.close() ``` --- ### 数据存储与重复过滤设计思路 考虑到大规模并发采集过程中不可避免会出现相同记录多次被抓的情况发生,故此有必要建立一套完善的URL去重体系结构。借助Redis数据库能够高效达成这一目的——它支持高速读写特性非常适合用来保存已访问链接集合以便后续查询对比之需。 典型的应用场景如下所示: ```python import redis rdb_conn = redis.StrictRedis(host='localhost', port=6379, decode_responses=True) url_to_check = '/path/to/resource' if not rdb_conn.sismember('visited_urls_set', url_to_check): # Process new URL here... process_new_page(url_to_check) # Mark as visited after successful processing. rdb_conn.sadd('visited_urls_set', url_to_check) else: print(f"{url_to_check} has already been processed.") ``` ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值