数据爬取-奇技淫巧系列1——抓取隐藏在CDN，防爬代理等服务后面的数据

最新推荐文章于 2025-06-20 13:48:05 发布
最新推荐文章于 2025-06-20 13:48:05 发布
阅读量8.2k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 爬虫 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chijiaodaxie/article/details/80355740
本文介绍了一种绕过CDN和防爬代理服务器进行数据抓取的方法，包括定位真实IP地址并通过DNS劫持绕过中间层防护，直接访问原始站点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

准备写个数据爬取的技巧系列Blog，不定时更新
互联网上爬虫和反爬大战已愈演愈烈，不同段位的选手在相互交锋，有时候爬数据采用比较温和的方式就能获取到，但是碰到难啃的骨头，就必须要采用一些奇技淫巧，于是就有了该系列。
该系列主要提供思路，很少涉及细节

系列第一篇，主要对付隐藏在CDN，防爬代理服务器后面的网站，怎么做呢，分如下几步：

  1. 想方设法找到网站的真实IP（比如找子域名，多节点Ping，查找历史解析等等）；
  2. 劫持目标域到该真实IP；
  3. 这样就能绕过中间层的防护，直接对垒原始站点。

完

爬虫支撑的网站示例：InsDear

友link:Instagraw - instagram viewer

【四.图像分类技术体系】【5.数据增强策略：Mixup/CutMix/AutoAugment】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-16 138
回顾我们今天的旅程：从简单的图像翻转，到充满哲学意味的Mixup（万物皆可融合），再到让AI自主创新的AutoAugment。数据增强不再只是技术手段，而是成为了培养AI创造力的关键。最后分享一个暖心故事：在用CutMix做流浪动物识别项目时，我们发现模型居然学会了识别残缺的耳朵（常见的绝育标记），这正是因为增强后的数据包含了各种局部特征。这让我想起罗丹的话：“生活中从不缺少美，而是缺少发现美的眼睛。” 通过数据增强，我们正在给AI装上这样一双慧眼。
【十 自然语言处理项目实战】【10.2 数据收集与预处理】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-12 829
各位在数据泥潭里打滚的勇士们，今天咱们要聊的这个话题，就像学做川菜必须掌握的"火锅底料炒制法"——数据收集与预处理！这玩意儿看着像脏活累活，实则是决定你模型上限的生死关卡。作为一个曾把BERT训成人工智障的老司机，这就把五年掉坑经验熬成一锅十全大补汤！（戴上橡胶手套准备掏数据）
CDN排查
huof的专栏
01-22 2375
https://help.aliyun.com/knowledge_list/8314940.html?spm=5176.doccdn/tool/cdnlog-tool.6.243.QQzNCD http://www.qcloud.com/wiki/CDN%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98 使用CDN加速后，网站无法访问
利用Http Analyzer与RCurl抓取脚本中隐藏的数据
Jansii的专栏
08-19 1216
hello、
Facebook数据抓取深度解析：使用facebook-scraper库
最新发布
weixin_31315007的博客
06-20 857
在数字时代，社交媒体平台如Facebook积累了大量用户生成的数据。这些数据对于市场研究、公共舆论分析等领域具有极高的价值。因此，Facebook数据抓取成为了获取这些宝贵信息的重要手段。首先，我们需要明确Facebook数据抓取API的基本概念。API接口，实质上是Facebook公开的一种服务端接口，允许用户通过HTTP请求与之交互。通过这种接口，开发者能够实现页面内容的抓取、数据的解析以及操作的自动化。
信息收集（1）CDN篇
weixin_43954246的博客
02-19 794
文章目录什么是CDN如何判断目标存在CDN服务 什么是CDN CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。但在安全测试过程中，若目标存在CDN服务，将会影响到后续的安全测试过程。 如何判断目标存在CDN服务 1.可以访问http://ping.chinaz.com/，他会借助全国各
常用CDN收集
疯狂的简洁
03-22 991
说明 记录一些CDN 七牛云 ( 支持HTTPS) Bootstrap 中文网开源项目免费 CDN 加速服务(库比较新，建议使用) 开放静态文件 CDN 又拍云JS库 http://jscdn.upai.com/ (常用JavaScript库CDN服务) BootstrapCDN https://www.bootstrapcdn.com/ ...
0906信息采集-CDN相关
weixin_44418203的博客
09-07 517
信息采集-CDN相关
【奇技淫巧】子程序直接传非基本数据类型-易语言
06-11
不支持取含非基本数据类型参数的子程序地址，于是就有了这个骚方法来处理这个问题。 本程序可以说是处理这个问题用的代码最少的，请看： 这个取 子程序地址是在子程序内部进行的，完美地规避了 不支持取含 非基本...
CSP-J2019游记——退役宣言
qq_45529607的博客
11-16 921
今天，参加了CSP，发现4道题好简单困难，我绝对要凉了。 为了给以后的队员留下一点财富（摘自全国著名信竞教练周垂原言），总结一下参赛和训练的感受。 一、CSP初赛很重要 如果初赛不准备充足，很有可能退役，所以准备好初赛成为了每届Oier的首要任务，无论是j还是s都要过初赛，才能参加复赛，才有希望（受打击）。 二、复赛要奇技淫巧 CSP2019-J组的题目难易结合，有一定的挑战性。但其中有一定的（...
CDN介绍
sms鱼的博客
04-23 562
什么是CDN？ CDN即内容分发网络，全称为(content delivery network) 下面内容采集自知乎： https://www.zhihu.com/question/36514327 CDN是将源站内容分发至最接近用户的节点，使用户可就近取得所需内容，提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等场景。 （本章节部分内容...
讨论如何抓取使用cdn背后网站的源ip地址
Enweitech Software Works
06-18 9612
漏洞概要关注数(27) 关注此漏洞 缺陷编号： WooYun-2014-64512 漏洞标题： 某方法可以无视CDN查找真实IP导致真实站点遭受DDOS或入侵 相关厂商： 各大云防护厂商 漏洞作者： 苦咖啡 漏洞类型： 设计缺陷/逻辑错误 危害等级： 高 自评Rank： 16 漏洞状态： 已交由第三方合作机构(cncert国家互联网应
请求到了CDN，但是CDN没有下发视频数据流m3u8-----抓包心得
kyd6873的博客
06-18 4195
没有请求到CDN的电视剧视频流-----抓包心得 首先打开抓包pcapng文件,在过滤器栏中输入http.request.method ==GET and (tcp contains .m3u8) 查看得到的视频流。图片 通过图片，可以看到域名解析的IP是39.156.2.14 根据这个IP地址，追踪http流得到 图片 图片 从中我们看到，IP39.156.2.14是服务器，IP 192.168.137.18是本地电脑端，服务器并没有传输视频数据，Len数据长度是0 图片 说明服务器CDN没有发送任何
CDN服务及如何获取CDN服务背后的真实IP
热门推荐
Sp4rkW的博客
01-16 2万+
CDN原理 首先，为了对CDN进行获取真实IP，我们必须清楚CDN的工作原理，这里我们再来简单介绍一下CDN的工作模型。 CDN的全称是Content Delivery Network（内容分发网络），通过在网络各处的加速节点服务器来为网站抵挡恶意流量，把正常流量进行转发。用简单点的话来说，CDN一般有三个作用： 跨运营商加速：我们自己的网站常常只属于一个运营商(比如：电信)，而加速...
CDN问题排查：劫持下tcp三次握手分析
lotluck的专栏
08-21 548
一、问题 直观感受就是curl 好像卡住了，一直不通。 但是ping， telnet正常，大概率被劫持了，客户端和服务端抓包即可 二、分析 1.服务端抓包 tcpdump -i any port 80 and host 1.1.1.1 -w 6.cap 2.客户端抓包 从抓包可以得出， 客户端 和 服务端 三次握手成功了，客户端发起get请求，在客户端看来服务端没有响应。客户端觉得是不是三次握手的ack消息难道我没发成功？ 客户端就退回到三次握手阶段，连续给服务端发送三次握手的ack消息。 从抓包
CDN缓存的原理是什么？CDN网络资源获取过程
Blue92120的博客
03-22 370
CDN：Content Delivery Network，即内容分发网络，它是构建在现有网络基础上的虚拟智能网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、调度及内容分发等功能模块，使用户在请求所需访问的内容时能够就近获取，以此来降低网络拥塞，提高资源对用户的响应速度。回源指的是如果未在CDN缓存服务器上查找到目标资源，或CDN缓存服务器上的缓存资源已经过期，则重新追溯到网站根服务器获取相关资源的过程。2、解析出的结果IP地址并非确定的CDN缓存服务器地址，而是CDN的负载均衡器的地址。
使用CDN的User-Agent反爬虫（附名单）
可定博客
04-16 768
我的主博客是可定博客(https://wnag.com.cn/) 原文链接：使用CDN的User-Agent反爬虫（附名单） 这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。 这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链 附下一些恶意爬虫的名单： *Feed...
CDN绕过
adaosanqian的博客
03-22 1443
CDN全称为：Content Delivery Network，即内容分发网络CDN依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取内容，降低网络延迟，提高访问速度。大白话来讲，CDN也是服务器，而这个服务器的作用，让我们来举个栗子说明：如果一家公司的主服务器设置在新疆，而我在河南，那么我直接去访问服务器会因为距离问题非常慢、甚至可能因超时而导致无法连接。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值