Python爬虫入门教程 41-100 Fiddler+夜神模拟器+雷电模拟器配置手机APP爬虫部分

本文是Python爬虫入门系列,介绍如何使用Fiddler结合模拟器(夜神/雷电)配置手机APP爬虫。内容包括:Fiddler的HTTPS抓包设置、远程连接配置、模拟器代理设置,以及Fiddler的过滤功能,为后续的APP数据抓取打下基础。

爬前叨叨

从40篇博客开始,我将逐步讲解一下手机APP的爬虫,关于这部分,我们尽量简化博客内容,在这部分中可能涉及到一些逆向,破解的内容,这部分尽量跳过,毕竟它涉及的东西有点复杂,并且偏离了爬虫体系太远,有兴趣的博友,可以一起研究下。

之前看到知乎有人对手机App爬虫归类,基本符合规则,接下来的10篇博客可能集中在80%的App上,所以还是比较简单的

  1. 50%的app,通过抓包软件就可以分析出抓取参数并抓取到信息。
  2. 30%的app,可能需要适当的反编译,分析出加密算法并抓取到信息。
  3. 10%的app,可能加固,需要脱壳,然后反编译,分析出加密算法并抓取到信息
  4. 10%的app,通过各式各样的签名,证书,设备绑定等方法,隐藏加密算法。

首先配置第一轮的环境,配置好了,下一篇博客,就采用Fiddler+夜神模拟器[雷电模拟器]等实现儿歌多多APP的数据抓取工作

抓包

抓包是爬虫里面经常用到的一个词,完整的应该叫做抓取数据请求响应包 ,而Fiddler这款工具就是干这个的,当然还有其他工具,后面的博客中咱也会提及到

你可以百度关键字:Fiddler抓取手机APP 相关的博客一大票~,哪篇博客基本都可以叫你入门,所以你可以看看各家的,今天我这篇博客主要写的是Fiddler配合模拟器实现抓包操作。

在使用 Fiddler雷电模拟器联合进行网络抓包时,需要完成一系列配置,以确保雷电模拟器的网络流量能够通过 Fiddler 进行代理和捕获。以下是详细的配置步骤: ### 配置 Fiddler 1. **启动 Fiddler** 打开 Fiddler,确保其监听本地 8888 端口(默认设置)。如果更改了端口号,需要记住当前监听的端口。 2. **启用远程连接** 在 Fiddler 的菜单栏中选择 `Tools > Options`,切换到 `Connections` 选项卡。勾选 `Allow remote computers to connect`,并确保 `Fiddler listens on port` 设置为 8888 或其他需要的端口号 [^1]。 3. **确认本地 IP 地址** 在命令提示符中运行 `ipconfig` 命令,找到本机的 IPv4 地址(例如 `192.168.x.x`),该地址将用于雷电模拟器的代理设置 [^1]。 ### 配置雷电模拟器 1. **启动雷电模拟器** 打开雷电模拟器,并确保其正常运行。 2. **设置代理** 在雷电模拟器中,进入 `Settings > Wi-Fi`,长按当前连接的网络,选择 `Modify Network`。勾选 `Show Advanced Options`,将代理设置为 `Manual`,并在 `Proxy hostname` 中输入本机的 IPv4 地址,`Proxy port` 输入 Fiddler 的监听端口号(如 8888) [^1]。 3. **安装 Fiddler 根证书(可选)** 如果需要解密 HTTPS 流量,可在雷电模拟器的浏览器中访问 `http://ipv4.fiddler:8888`,下载并安装 Fiddler 提供的根证书 `FiddlerRoot.cer`,以信任 Fiddler 的 SSL 解密功能 [^1]。 ### 抓包操作 1. **启动抓包** 在 Fiddler 中,点击 `File > Capture Traffic` 确保抓包功能已启用。此时,雷电模拟器的所有网络请求将会显示在 Fiddler 的会话列表中。 2. **过滤与分析** 可以通过 Fiddler 的过滤功能(`Rules > Customize Rules`)对特定域名或请求类型进行过滤,以便更高效地分析所需数据 [^1]。 ### 示例代码 如果需要在雷电模拟器中测试特定的 HTTP 请求,可以使用 Python 编写简单的测试脚本,例如: ```python import requests response = requests.get('http://example.com', proxies={'http': 'http://192.168.x.x:8888'}) print(response.text) ``` 请将 `192.168.x.x` 替换为实际的本机 IP 地址。 ---
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助,来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值