网络爬虫-神器fiddler抓取app数据

本文详细介绍如何使用Fiddler进行网页及APP抓包,包括安装配置、代理设置及证书安装,适用于初学者快速掌握抓包技巧。

才接触爬虫的时候,我们通常使用的是浏览器的开发者工具-F12里的NetWork对网页进行抓包,但是这有一个缺点,就是如果网页加载了很多乱七八糟的东西,比如广告啊,各种各样的js之类的时候,NewWork就显得有点吃力了,我们就需要使用更强大的工具来进行抓包,我个人比较喜欢使用Fiddler,毕竟免费的好用,另外有喜欢的朋友也可以使用Charles,它只能免费使用一段时间。
这里贴出下载地址:
fiddler官网下载
charles官网下载

这里对fiddler进行测试。
安装好之后,我们打开fiddler,然后打开浏览器,就可以看到,现在fiddler代替了我们的开发者工具,对http请求进行了抓取,这时候我们还需要进行一些设置,让它可以抓取https请求。

在这里插入图片描述

注意

如果是要对app进行抓包,请将 from browser only 改为 from all processes.

下面是对app抓包的配置。
在这里插入图片描述
在这里插入图片描述

下面就需要使用真机,或者模拟器了,这里推荐一款模拟器,逍遥安卓模拟器。
传送门 --> 逍遥安卓模拟器官网

下载好之后打开如下图。
在这里插入图片描述

这时候需要对模拟器进行配置,真机也是同样步骤~!
在这里插入图片描述

代理服务器主机名可以打开cmd输入ipconfig进行查看,代理服务器端口号是根据你的fiddler的代理端口号对应的。完成这一项步骤后点击保存即可。

但是现在还无法对手机app进行抓包,需要安装证书,这时候打开手机自带的浏览器,在地址栏输入你的代理服务器名+端口号 ,如下图
在这里插入图片描述

点击 FiddlerRoot certificate 下载安装证书即可。

大功告成

现在我们就可以对app进行抓包操作了,以酷航app为例:

在这里插入图片描述

可以看到 我们已经将酷航app的查询请求抓取下来了,可以对它进行重发以及各种花里胡哨的操作了~

但是如果还需要进一步的了解的话,比如酷航app会产生一个wtoken参数,这个就例如网页中的js加密一般,是在apk底层生成的,需要我们去捕获进行模拟生成,因为这个会在服务器上进行验证,网页端的js加密token也是如出一辙,这就需要涉及到安卓的逆向工程以及反编译了,有兴趣的童鞋也可以去了解一下,需要一定的java基础哦!

有需要帮助的童鞋可以进行留言一起探讨,一起学习进步 ~!
### 如何使用Fiddler捕获和调试手机应用程序的网络请求 #### 准备工作 为了使Fiddler能够捕获来自移动设备的流量,需确保电脑与手机连接至同一Wi-Fi网络。接着,在计算机上启动Fiddler工具。 #### 配置Fiddler监听外部设备 默认情况下,Fiddler仅捕捉本地机器上的HTTP(S)流量。要让其接收来自其他设备(如智能手机)的数据流,则需要调整一些设置: - 进入`Tools -> Options`菜单项; - 切换到`Connections`标签页; - 勾选允许远程计算机连接此选项,并记下显示出来的IP地址以及端口号[^3]; #### 手机配置代理指向PC 依据不同操作系统执行相应操作来设定无线网路的手动HTTP代理服务器为运行着Fiddler程序那台主机的局域网IPv4地址加上刚才记录下的端口数值组合而成的形式,例如 `192.168.x.xx:8888`. 对于iOS设备而言还需要额外信任根证书以便于解密HTTPS加密过的通讯内容。这一步骤可通过浏览器访问 http://ipv4.fiddler:8888 并安装由Fiddler自动生成的安全凭证实现[^1]。 #### 开始监控移动端发出的所有HTTP/HTTPS请求 一旦上述准备工作就绪之后,只要开启目标App就会自动触发经由所设好的中间人——即本机部署有Fiddler软件的那个节点转发出去再返回的过程了。此时便可以在左侧列表里看到实时更新中的会话条目,双击任意一项即可深入探究该次交互详情。 ```bash # 确认手机和电脑在同一WiFi环境下 ping 192.168.x.xx # 替换成实际的电脑IP地址用于验证连通性 ``` 通过以上步骤可以有效地利用Fiddler来进行针对Android或iPhone平台的应用层协议分析工作,无论是排查问题还是学习研究都非常有用处。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值