数据爬取-奇技淫巧系列1——抓取隐藏在CDN，防爬代理等服务后面的数据

最新推荐文章于 2025-06-11 15:48:18 发布
最新推荐文章于 2025-06-11 15:48:18 发布
阅读量8.2k 收藏 4
点赞数
CC 4.0 BY-SA版权
分类专栏： 爬虫 网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chijiaodaxie/article/details/80355740
本文介绍了一种绕过CDN和防爬代理服务器进行数据抓取的方法，包括定位真实IP地址并通过DNS劫持绕过中间层防护，直接访问原始站点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

准备写个数据爬取的技巧系列Blog，不定时更新
互联网上爬虫和反爬大战已愈演愈烈，不同段位的选手在相互交锋，有时候爬数据采用比较温和的方式就能获取到，但是碰到难啃的骨头，就必须要采用一些奇技淫巧，于是就有了该系列。
该系列主要提供思路，很少涉及细节

系列第一篇，主要对付隐藏在CDN，防爬代理服务器后面的网站，怎么做呢，分如下几步：

  1. 想方设法找到网站的真实IP（比如找子域名，多节点Ping，查找历史解析等等）；
  2. 劫持目标域到该真实IP；
  3. 这样就能绕过中间层的防护，直接对垒原始站点。

完

爬虫支撑的网站示例：InsDear

友link:Instagraw - instagram viewer

【四.图像分类技术体系】【5.数据增强策略：Mixup/CutMix/AutoAugment】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-16 131
回顾我们今天的旅程：从简单的图像翻转，到充满哲学意味的Mixup（万物皆可融合），再到让AI自主创新的AutoAugment。数据增强不再只是技术手段，而是成为了培养AI创造力的关键。最后分享一个暖心故事：在用CutMix做流浪动物识别项目时，我们发现模型居然学会了识别残缺的耳朵（常见的绝育标记），这正是因为增强后的数据包含了各种局部特征。这让我想起罗丹的话：“生活中从不缺少美，而是缺少发现美的眼睛。” 通过数据增强，我们正在给AI装上这样一双慧眼。
【十 自然语言处理项目实战】【10.2 数据收集与预处理】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
03-12 821
各位在数据泥潭里打滚的勇士们，今天咱们要聊的这个话题，就像学做川菜必须掌握的"火锅底料炒制法"——数据收集与预处理！这玩意儿看着像脏活累活，实则是决定你模型上限的生死关卡。作为一个曾把BERT训成人工智障的老司机，这就把五年掉坑经验熬成一锅十全大补汤！（戴上橡胶手套准备掏数据）
CDN排查
huof的专栏
01-22 2368
https://help.aliyun.com/knowledge_list/8314940.html?spm=5176.doccdn/tool/cdnlog-tool.6.243.QQzNCD http://www.qcloud.com/wiki/CDN%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98 使用CDN加速后，网站无法访问
利用Http Analyzer与RCurl抓取脚本中隐藏的数据
Jansii的专栏
08-19 1216
hello、
从Facebook爬取百万数据！Java爬虫实战：代码+法律风险全解析
最新发布
小筱在线博客
06-11 2645
Facebook作为全球最大的社交平台之一，蕴藏着海量的用户行为数据、社交关系和商业信息。本文将详细介绍如何使用Java构建高效爬虫系统从Facebook获取百万级数据，同时深入分析相关法律风险，为开发者提供全面的技术指导和合规建议。
信息收集（1）CDN篇
weixin_43954246的博客
02-19 792
文章目录什么是CDN如何判断目标存在CDN服务 什么是CDN CDN的全称是Content Delivery Network，即内容分发网络。CDN是构建在现有网络基础之上的智能虚拟网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取所需内容，降低网络拥塞，提高用户访问响应速度和命中率。但在安全测试过程中，若目标存在CDN服务，将会影响到后续的安全测试过程。 如何判断目标存在CDN服务 1.可以访问http://ping.chinaz.com/，他会借助全国各
常用CDN收集
疯狂的简洁
03-22 991
说明 记录一些CDN 七牛云 ( 支持HTTPS) Bootstrap 中文网开源项目免费 CDN 加速服务(库比较新，建议使用) 开放静态文件 CDN 又拍云JS库 http://jscdn.upai.com/ (常用JavaScript库CDN服务) BootstrapCDN https://www.bootstrapcdn.com/ ...
0906信息采集-CDN相关
weixin_44418203的博客
09-07 517
信息采集-CDN相关
【奇技淫巧】子程序直接传非基本数据类型-易语言
06-11
不支持取含非基本数据类型参数的子程序地址，于是就有了这个骚方法来处理这个问题。 本程序可以说是处理这个问题用的代码最少的，请看： 这个取 子程序地址是在子程序内部进行的，完美地规避了 不支持取含 非基本...
CSP-J2019游记——退役宣言
qq_45529607的博客
11-16 918
今天，参加了CSP，发现4道题好简单困难，我绝对要凉了。 为了给以后的队员留下一点财富（摘自全国著名信竞教练周垂原言），总结一下参赛和训练的感受。 一、CSP初赛很重要 如果初赛不准备充足，很有可能退役，所以准备好初赛成为了每届Oier的首要任务，无论是j还是s都要过初赛，才能参加复赛，才有希望（受打击）。 二、复赛要奇技淫巧 CSP2019-J组的题目难易结合，有一定的挑战性。但其中有一定的（...
CDN介绍
sms鱼的博客
04-23 562
什么是CDN？ CDN即内容分发网络，全称为(content delivery network) 下面内容采集自知乎： https://www.zhihu.com/question/36514327 CDN是将源站内容分发至最接近用户的节点，使用户可就近取得所需内容，提高用户访问的响应速度和成功率。解决因分布、带宽、服务器性能带来的访问延迟问题，适用于站点加速、点播、直播等场景。 （本章节部分内容...
讨论如何抓取使用cdn背后网站的源ip地址
Enweitech Software Works
06-18 9601
漏洞概要关注数(27) 关注此漏洞 缺陷编号： WooYun-2014-64512 漏洞标题： 某方法可以无视CDN查找真实IP导致真实站点遭受DDOS或入侵 相关厂商： 各大云防护厂商 漏洞作者： 苦咖啡 漏洞类型： 设计缺陷/逻辑错误 危害等级： 高 自评Rank： 16 漏洞状态： 已交由第三方合作机构(cncert国家互联网应
请求到了CDN，但是CDN没有下发视频数据流m3u8-----抓包心得
kyd6873的博客
06-18 4190
没有请求到CDN的电视剧视频流-----抓包心得 首先打开抓包pcapng文件,在过滤器栏中输入http.request.method ==GET and (tcp contains .m3u8) 查看得到的视频流。图片 通过图片，可以看到域名解析的IP是39.156.2.14 根据这个IP地址，追踪http流得到 图片 图片 从中我们看到，IP39.156.2.14是服务器，IP 192.168.137.18是本地电脑端，服务器并没有传输视频数据，Len数据长度是0 图片 说明服务器CDN没有发送任何
CDN服务及如何获取CDN服务背后的真实IP
热门推荐
Sp4rkW的博客
01-16 2万+
CDN原理 首先，为了对CDN进行获取真实IP，我们必须清楚CDN的工作原理，这里我们再来简单介绍一下CDN的工作模型。 CDN的全称是Content Delivery Network（内容分发网络），通过在网络各处的加速节点服务器来为网站抵挡恶意流量，把正常流量进行转发。用简单点的话来说，CDN一般有三个作用： 跨运营商加速：我们自己的网站常常只属于一个运营商(比如：电信)，而加速...
CDN问题排查：劫持下tcp三次握手分析
lotluck的专栏
08-21 548
一、问题 直观感受就是curl 好像卡住了，一直不通。 但是ping， telnet正常，大概率被劫持了，客户端和服务端抓包即可 二、分析 1.服务端抓包 tcpdump -i any port 80 and host 1.1.1.1 -w 6.cap 2.客户端抓包 从抓包可以得出， 客户端 和 服务端 三次握手成功了，客户端发起get请求，在客户端看来服务端没有响应。客户端觉得是不是三次握手的ack消息难道我没发成功？ 客户端就退回到三次握手阶段，连续给服务端发送三次握手的ack消息。 从抓包
CDN缓存的原理是什么？CDN网络资源获取过程
Blue92120的博客
03-22 368
CDN：Content Delivery Network，即内容分发网络，它是构建在现有网络基础上的虚拟智能网络，依靠部署在各地的边缘服务器，通过中心平台的负载均衡、调度及内容分发等功能模块，使用户在请求所需访问的内容时能够就近获取，以此来降低网络拥塞，提高资源对用户的响应速度。回源指的是如果未在CDN缓存服务器上查找到目标资源，或CDN缓存服务器上的缓存资源已经过期，则重新追溯到网站根服务器获取相关资源的过程。2、解析出的结果IP地址并非确定的CDN缓存服务器地址，而是CDN的负载均衡器的地址。
使用CDN的User-Agent反爬虫（附名单）
可定博客
04-16 768
我的主博客是可定博客(https://wnag.com.cn/) 原文链接：使用CDN的User-Agent反爬虫（附名单） 这几天发现CDN上的钱去的有点快，后台一查，有爬虫在后台爬了几千次，还是自己不认识的。因此如果你有用CDN的话，可以用CDN的User-Agent反爬虫。 这里以又拍云为例，CDN后台 - 访问控制 - User-Agent防盗链 附下一些恶意爬虫的名单： *Feed...
CDN绕过
adaosanqian的博客
03-22 1439
CDN全称为：Content Delivery Network，即内容分发网络CDN依靠部署在各地的边缘服务器，通过中心平台的负载均衡、内容分发、调度等功能模块，使用户就近获取内容，降低网络延迟，提高访问速度。大白话来讲，CDN也是服务器，而这个服务器的作用，让我们来举个栗子说明：如果一家公司的主服务器设置在新疆，而我在河南，那么我直接去访问服务器会因为距离问题非常慢、甚至可能因超时而导致无法连接。
指针隐藏数据技巧：深入解析ptr隐藏机制
资源摘要信息:"在指针中隐藏数据的方法主要涉及C语言中的内存操作和位操作技巧。基本的思路是利用指针指向的内存地址和它所存储的数据在数值上的偶合性。通过修改指针值，将一部分值用于存储数据，再通过特定的计算...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值