有反爬机制就爬不了吗?那是你还不知道反反爬!

互联网防反爬机制的六种反爬技术大解析 目录 前言 反爬虫 仔细分析这七种反爬技术 1、user-agent 2、验证码 3、封IP 4、关联请求上下文 5、JavaScript 参与运算 6、提高数据获取成本 前言 ​ 互联网时代,无论在工作上,还是生活上都离不开网络,而网络能给我们带来什么? ​ 新闻,小说,资料,各行业的数据或者报表等等; ​ 比如:快毕业了为了论文,在各种网站上爬取需要的数据进行分析;还有一些为了兴趣爱好,爬取各种类型的图片,视频,文章,数据等。 ​ 各网站的开发人员为了约束这种行为,开始绞尽脑 阅读详情

不知道你们在用爬虫爬数据的时候是否有发现,越来越多的网站都有自己的反爬机制,抓取数据已经不像以前那么容易,目前常见的反爬机制主要有以下几种:

  1. 数据是通过动态加载的,比如微博,今日头条,b站
  2. 需要登录,需要验证码,比如铁路12306,淘宝,京东
  3. 请求次数频繁,IP地址在同一时间访问次数过多,导致IP被封
  4. 数据屏蔽方式,比如访问的数据不在源码中,数据隐藏在js中,比如今日分享,b站

爬虫与反爬虫一直以来就像是左右手互博,你有反爬机制,我就有反反爬技术,即见即可爬,道高一尺魔高一丈。

在这里插入图片描述

今天就为大家详细介绍网站的反爬虫机制和实用的应对方法,一般网站从三个方面反爬虫:

1.用户请求的Headers
2.用户行为
3.网站目录和数据加载方式

前两种比较容易遇到,大多数网站都从这些角度来反爬虫。第三种一些应用ajax的网站会采用,这样增大了爬取的难度(防止静态爬虫使用ajax技术动态加载页面)。

在这里插入图片描述


一、从用户请求的Headers反爬虫

这种是最常见的反爬机制,在访问某些网站的时候,网站通常会用判断访问是否带有头文件来鉴别该访问是否为爬虫,用来作为反爬取的一种策略。

那我们就需要伪装headers。很多网站都会对Headers的User-Agent进行检测,还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。

在这里插入图片描述

如果遇到了这类反爬虫机制,可以直接在爬虫中添加Headers,将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。

往往容易被忽略,通过对请求的抓包分析,确定referer,在程序中模拟访问请求头中添加。

对于检测Headers的反爬虫,在爬虫中修改或者添加Headers就能很好的绕过。

例如打开搜狐首页,先来看一下Chrome的头信息(F12打开开发者模式)如下:

image-20210322173358546

如图,访问头信息中显示了浏览器以及系统的信息(headers所含信息众多,其中User-Agent就是用户浏览器身份的一种标识,具体可自行查询)

Python中urllib中的request模块提供了模拟浏览器访问的功能,代码如下:

from urllib import request 

url = http://www. baidu.com 
# page= requestRequest (url)
# page add header (' User-Agent',' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebki
headers ={'User-Agent': ' Mozilla/5.0(Windows NT 10.0; Win64; x64) AppleWebkit/537. 36'}
page = request Request(url, headersheaders)
page_info = request urlopen(page). read().decode('utf-8')
print(page_info)

可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问

urllib.request Request()
urllib.request Request(url, data=None, headers={}, origin req host=None, unverifiable )

其中headers是一个字典,通过这种方式可以将爬虫模拟成浏览器对网站进行访问。

在这里插入图片描述


二、基于用户行为反爬虫

还有一部分网站是通过检测用户行为,例如同一IP短时间内多次访问同一页面,或者同一账户短时间内多次进行相同操作。

这种防爬,需要有足够多的ip来应对。

(1)方法1

大多数网站都是前一种情况,对于这种情况,使用IP代理就可以解决。可以专门写一个爬虫,爬取网上公开的代理ip,检测后全部保存起来。有了大量代理ip后可以每请求几次更换一个ip,这在requests或者urllib中很容易做到,这样就能很容易的绕过第一种反爬虫。

在这里插入图片描述

编写爬虫代理:

步骤:

1.参数是一个字典{‘类型’:‘代理ip:端口号’}   proxy_support=urllib.request.ProxyHandler({})
2.定制、创建一个opener   opener=urllib.request.build_opener(proxy_support)
3.安装opener   urllib.request.install_opener(opener)
4.调用opener   opener.open(url)

用大量代理随机请求目标网站,应对反爬虫

import urllib request 
import random 
import re

url='http://www. whatismyip. com. tw '
iplist=['121.193.143.249:88',"112.126.65.193:88',122.96.59.184:82',115.29.98.139:9]
        
proxy_support = urllib. request Proxyhandler({'httP': random choice(iplist)})
opener = urllib.request.build_opener(proxy_suppor)
opener.addheaders=[(' User-Agent, ' Mozilla/5.0(X11; Linux x86-64) AppleWebkit/537.36'
urllib.request.install_opener(opener)
response = urllib.request.urlopen(url)
html = response.read().decode(' utf-8)
                              
pattern = re.compile('<h1>(.*?)</h1>.*?<h2>(,*?)</h2>')
iterms=re.findall(pattern, html)
                              
for item in iterms:
    print(item[0]+:"+item[1])
(2)方法2

对于第二种情况,可以在每次请求后随机间隔几秒再进行下一次请求。有些有逻辑漏洞的网站,可以通过请求几次,退出登录,重新登录,继续请求来绕过同一账号短时间内不能多次进行相同请求的限制。

对于账户做防爬限制,一般难以应对,随机几秒请求也往往可能被封,如果能有多个账户,切换使用,效果更佳。

在这里插入图片描述


三、动态页面的反爬虫

上述的几种情况大多都是出现在静态页面,还有一部分网站,我们需要爬取的数据是通过ajax请求得到,或者通过Java生成的。

解决方案:Selenium+PhantomJS

Selenium:自动化web测试解决方案,完全模拟真实的浏览器环境,完全模拟基本上所有的用户操作

PhantomJS :一个没有图形界面的浏览器

比如获取淘宝的个人详情地址:

from selenium import webdriver 
import time 
import re 

drive = webdriver.PhantomJs(executable_path = ' phantomjs-21.1-linux-x86 64/bin/phanto drive.get('https://mm. taobaocom/self/modelinfohtm? userid=189942305& iscoment=fal)

time. sleep(5)

pattern = re.compile(r'<div. *? mm-p-domain-info>*? class="mm-p-info-cell clearfix">.
html = drive.page_source.encode(' utf-8,' ignore')
items=re.findall(pattern, html)
for item in items:
	print(item[0], 'http':+item[1])
drive.close()

在这里插入图片描述


四.总结

最后给大家总结一下前面所讲的反爬机制应对策略(反反爬):

  1. 伪装浏览器

  2. 使用代理IP

  3. 抓包分析突破异步加载 / selenium自动化测试工具

  4. 添加cookie

最后嘱咐大家一句,爬虫世界确实很有意思,技术是无罪的,学习是可以的,但还是实际操作就要适可而止了,不要触碰到法律的边界线。

如果你也喜欢编程,想通过学习Python获取更高薪资,这里给大家分享一份Python学习资料。

😝朋友们如果有需要的话,可以V扫描下方二维码免费领取🆓

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

#### **一、Python学习路线**

image-20230619144606466

python学习路线图1

二、Python基础学习
1. 开发工具

2. 学习笔记

在这里插入图片描述

3. 学习视频

在这里插入图片描述

三、Python小白必备手册

图片

四、数据分析全套资源

在这里插入图片描述

五、Python面试集锦
1. 面试资料

在这里插入图片描述

在这里插入图片描述

2. 简历模板

在这里插入图片描述

** 因篇幅有限,仅展示部分资料,添加上方即可获取**
关于爬虫反爬机制处理方法(整合) 常见得反爬机制及解决办法 1、针对请求头做出得反爬 简介:网站通过去检查headers中的User-Agent字段来反爬,如果我们没有设置请求头,那么headers默认是python这样就会出现访问失败、没有权限等原因,如果去伪造一个请求头是可以避开得,不过如果短时间内频繁使用同一个User-Agent访问可能会被检测出来导致被封掉爬虫 解决办法:通过fake_useragent构造随机请求头 第一步:下载fake_useragent 可以直接在cmd当中输入: pip install.. 阅读详情

相关推荐

爬虫进阶 -- 爬虫相关定义、反爬机制及其破解

经历了好几个小爬虫项目的“摧残”,我想着不能白做,于是有了这篇文章。 什么是爬虫和反爬虫 爬虫:使用任何技术手段,批量获取网站信息的一种方式。 反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。 Headers相关概念

_天涯__的博客 2249

反爬虫机制和破解方法汇总

https://cloud.tencent.com/developer/article/1032918 什么是爬虫和反爬虫?爬虫:使用任何技术手段,批量获取网站信息的一种方式。反爬虫:使用任何技术手段,阻止别人批量获取自己网站信息的一种方式。 常见的反爬虫机制通过UA 识别爬虫 有些爬虫的UA是特殊的,与正常浏览器的不一样,可通过识别特征UA,直接封掉爬虫请求设置IP访问频率,如果超过一定频率,弹出验证码 如果输入正确的验证码,则放行,如果没有输入,则拉入禁止一段时间,如果超过禁爬时间,再次出发验证码,则拉

古月哲亭 4975

爬虫反爬机制和解决方案

在这一部分中,我们会展示几个具体案例代码来演示反反爬技术,所有代码使用面向对象的思想,并为每个案例选择合适的设计模式。此文章将被分为五个主要部分,详细介绍爬虫绕过反爬机制的技术,代码采用面向对象思想,并为每个案例使用合适的设计模式。:使用Tesseract OCR识别验证码的思路,并通过策略模式实现不同类型验证码的识别策略,以提高通用性。我们还会讲解如何优化爬虫性能,并分析设计模式的优势,例如提升代码的扩展性和可维护性。类,采用工厂模式生成不同的请求代理,以实现轮换IP的需求。

闲人编程的博客 2528

网站有反爬机制就爬不了数据?那是你不会【反】反爬,道高一尺魔高一丈啊

一山更比一山高,有反爬就有反 反爬!

龙叔的博客 15万+

python高级—— 从趟过的坑中聊聊爬虫、反爬、反反爬,附送一套高级爬虫试题

前言: 时隔数月,我终于又更新博客了,然而,在这期间的粉丝数也就跟着我停更博客而涨停了,唉 是的,我改了博客名,不知道为什么要改,就感觉现在这个名字看起来要洋气一点。 那么最近到底咋不更新博客了呢?说起原因那就多了,最主要的还是没时间了,是真的没时间,前面的那些系列博客都还没填坑完毕的(后续都会填上的) 最近有点空余就一直在开发我的项目,最近做了两个项目: IPproxy,看名字就知道啦...

7173

网站有反爬机制就爬不了数据?那是你不会【反】反爬

前言爬虫技术的不断发展,使得许多网站都采取了反爬机制,以保护自己的数据和用户隐私。常见的反爬手段包括设置验证码、IP封锁、限制访问频率等等。但是,这些反爬机制并不能完全阻止爬虫的进攻,因为只要有技术,就一定有方法来破解。本文将介绍如何使用代理IP来反反爬,以及相关的Python代码和案例。一、什么是代理IP代理IP(Proxy IP)是指在访问网络时,使用的是代理服务器的IP地址,而不是自己的IP地址。

Saki_Python的博客 1143

有反爬机制就爬不了吗?那是你还不知道反反爬,道高一尺魔高一丈啊

学会这几招,看到的都可以爬下来!

龙叔的博客 9185

python爬虫--小白篇【反反爬】

本文主要是记录了爬虫过程中的三种反反爬方法,主要是添加user-agent、使用ip代理、使用cookie。user-agent可以使用python第三方库fake-useragent随机获取,ip代理可以在网上找免费的或者付费的ip代理(可参考快代理 - 企业级HTTP代理IP云服务_专注IP代理11年),cookie可以自己登入账号后获取也可以写程序通过模拟登入后通过get_cookies()获得并保存为文件,之后在读取文件获取该cookie继续登入。

weixin_56097064的博客 3575

反爬反反爬,总是找不到,拿来做个备份,方便后面查看

反爬与反反爬策略 学习目录: 一、常见反爬策略 二、反反爬策略 学习内容: " 爬虫与反爬虫永远是相生相克的:当爬虫知道了反爬策略就可以制定反-反爬+策略,同样地,网站知道了爬虫的反-反爬策略就可以制定反-反-反爬策略。 正可谓是道高一尺魔高一丈,两者之间的斗争是永远不会结束的。" 一、常见反爬策略 反爬虫,是指对扫描器中的网络爬虫环节进行反制,通过一些反制策略来阻碍或干扰爬虫的正常爬行,从而间接地起到防御目的。 比如当我们在某一网站浏览过快时,这种快速浏览的行为很接近爬虫,系统往往就会要求输入验证码。 在

qq_46906413的博客 3650

《反爬机制与 Java 爬虫应对策略》

随着互联网的发展,网络数据变得越来越有价值。爬虫技术作为一种获取网络数据的有效手段,也在数据收集、数据分析等众多领域得到了广泛应用。然而,为了保护网站的数据安全和正常服务,网站开发者也采取了各种各样的反爬机制。对于使用 Java 开发的爬虫,了解这些反爬机制并采取有效的应对策略显得尤为重要。

一名资深Java工程师的技术分享 2807

一入爬虫深似海,反爬技术你知多少?

我跟在座的各位同僚一样,一个在互联网公司求生的程序员!工作占据了大部分时间,希望有朝一日能实现财富自由、也同样希望早日荣归故里!

吴秋霖的博客 2万+

网站常见的反爬手段及反反爬思路

摘要:介绍常见的反爬手段和反反爬思路,内容详细具体,明晰解释每一步,非常适合小白和初学者学习!!!

在猴站学算法 2806

爬虫反爬:字体反爬案例分析与爬取实战

字体反爬是一种常见的反爬虫技术,通过自定义字体文件(如TTF、WOFF)对网页中的字符进行加密或替换,将页面上的文字使用特殊字体显示,而爬虫在解析时由于缺少相应的字体文件,导致无法正确识别文字内容。本文将深入分析字体反爬的机制,并提供实战样例,帮助读者理解和应对这一挑战。字体反爬技术通过自定义字体文件对字符进行加密或替换,增加了爬虫解析的难度。通过下载并解析字体文件,建立字符映射关系,可以有效破解这种反爬机制。在实际应用中,可能需要结合动态加载、CSS偏移等其他反爬技术进行综合处理。

数据知道的博客 1万+

反爬与反反爬

很多网站都有反爬机制,自从有了爬虫,反爬与反反爬的斗争就没停过,而且都在不断升级。 下面介绍一些常见的反爬与反反爬机制。 基于headers的反爬 基于用户请求的headers反爬是最常见的反爬机制。 在请求头headers中,包含很多键值对,服务器会根据这些键值对进行反爬。 1. User-Agent:请求使用的终端,正常为浏览器,如果使用爬虫,就会显示如pytho...

weixin_30629977的博客 234

基于机器学习的反反爬策略实战:用Python智能破解反爬机制

IP频率限制与封禁User-Agent、Referer检查JavaScript动态加载与挑战CAPTCHA验证码行为模式异常检测(如请求时间间隔、点击轨迹)设备指纹识别等机器学习能有效识别复杂反爬行为,提升爬虫智能度需要大量标注数据和持续训练更新模型深度学习、强化学习等技术未来可进一步应用遵守法律法规,尊重目标网站权益是基础。

2201_76125261的博客 1156

使用企查查通过高德地图爬虫所有企业python代码

1. 高德对 IP地址 无反爬机制 2. 高德POI信息查询,若数据量小于3万,可通过认证个人开发者,获取免费api接口,实现每天 3万次 / 50-200 并发量 3. 若数据量远大于3万,可通过页面爬虫,若 CPU\内存\网速 够用,可开 50-100 条线程并发(python内核是伪线程,可以自己测试并发效率, 并非数越多越好) ——学习参考资料:仅用于个人学习使用! 本代码仅作学习交流,切勿用于商业用途,否则后果自负。若涉及侵权,请联系,会尽快处理! 未进行详尽测试,请自行调试!

【python】爬虫的反爬机制及反反爬策略~( ̄▽ ̄~)~

我们在进行网络爬虫的时候经常会碰到一些不理解的问题,除去语法错误和运行时错误,其余导致我们的爬虫出现问题的就是网站的反爬机制,本文将专门地介绍几种常规性的反爬机制以及其所对应的解决办法(^・ω・^)

weixin_63466470的博客 2369

嵌入式常用通信协议 #概述

嵌入式通信协议

AFK3060的博客 2117
上一篇: 文科生转行学Python,目前月入2w+,我是怎么做到的
下一篇: 什么密码,永远无法被黑客攻破?
大模型应用场景
博客等级 码龄5年 7677粉丝 1350原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值