Python
关注
分享
扫一扫
Cubeeeeee
http://blog.nps.fuguicun.com/
展开
-
爬虫应对IP封禁的一般性处理方法
**封IP目前是很多网站常用的反爬虫手段，为了让广大爬虫少走弯路，本文整理了几种可行的封IP应对方法**1.通过设置Http请求头直接绕过某些网站，由于网站开发者或者管理员安全意识不够，通过设置X-Forwarded-For头可以伪造任意IP。以IP138为例如上图所示，通过修改X-Forwarded-For标头的值，可以任意伪造请求ip，配合随机IP使用，效果很好。但是目前存在此类...原创 2019-05-31 21:13:38 · 2069 阅读 · 0 评论 -
HTTP抓包利器Fiddler基础及进阶教程(一)
作为一个爬虫er，抓包分析是基本功，而提到抓包，不得不提http抓包利器Fiddler，此系列文章将详细介绍Fiddler的一些基础功能及进阶功能的使用。本文介绍Fiddler在PC端抓包的使用教程一.安装安装这一步，直接放上官网二.浏览器抓包设置一般情况下，直接打开浏览器就可以看到数据包，但是Fiddler首次安装默认是不解析https的，即看到的数据包如下图出现这种原因一般是...原创 2019-06-12 22:47:45 · 1612 阅读 · 0 评论 -
HTTP抓包利器Fiddler基础及进阶教程(四)----使用Fiddler破解离线版极验验证
前三篇文章中介绍了Fiddler的抓包捕获，请求篡改等部分功能，本文将通过一个例子具体介绍Fiddler的在某些特定应用场景下的使用。本文最终目的:通过极验离线版滑块验证目标网站 :小微企业名录一.分析过程抓包调试，找到geetest_validate值计算入口，离线版很好找，肉眼就能找到，在offline.6.0.0.js处其中c.o方法用于产生滑块缺口位置,c.ajax方法并没有...原创 2019-07-14 14:50:03 · 2395 阅读 · 0 评论 -
HTTP抓包利器Fiddler基础及进阶教程(三)---- 修改请求和响应+FiddlerCore使用
本文将进一步介绍Fiddler的进阶功能，修改Http请求或响应，并使用FiddlerCore将其应用在代码当中。一.修改Http请求本小节实现的功能是使用Fiddler，将原本访问地址 https://blog.youkuaiyun.com/qq_26712977 的请求修改为访问https://blog.youkuaiyun.com/cocos2der。以火狐浏览器为例，正常情况下访问我的博客列表页如下图:...原创 2019-06-29 21:48:16 · 2198 阅读 · 1 评论 -
爬虫技巧----突破前端反调试(无限debugger)
爬虫技巧----突破前端反调试需求描述四种解决方法1.禁用浏览器断点2.利用中间人修改响应代码需求描述在采集某些网站时，目标网站为了防止别人分析调试前端代码，采取了反调试措施。其中一种做法是当你按F12进入浏览器控制台后，浏览器会自动命中debugger断点，并且无限循环，导致无法调试。以食品药品监督管理总局数据查询网站为例。如下图:按F12进入控制台四种解决方法1.禁用浏览器断点...原创 2019-08-10 15:46:43 · 13115 阅读 · 4 评论