以某乎为实战案例，教你用Python爬取手机App数据

转载最新推荐文章于 2026-10-12 23:37:09 发布 2.1w 阅读 AI写同款

菜鸟学Python

8044粉丝571篇原创

关注

Python爬取APP上的数据教程 App抓包原理 1.客户端向服务器发起HTTPS请求 2.抓包工具拦截客户端的请求，伪装成客户端向服务器进行请求 3.服务器向客户端（实际上是抓包工具）返回服务器的CA证书 4.抓包工具拦截服务器的响应，获取服务器证书公钥，然后自己制作一张证书，将服务器证书替换后发送给客户端。（这一步，抓包工具拿到了服务器证书的公钥） 5.客户端接收到服务器（实际上是抓包工具）的证书后，生成一个对称密钥，用... 阅读详情

AI摘要

本文以某乎App为例，介绍了爬取手机端App数据的方法。先配置抓包工具Fiddler，包括Connections和HTTPS的设置；接着在手机端设置代理并安装证书；然后打开App查看、过滤和查找数据包；最后编写爬虫程序获取数据，适用于iOS和安卓手机。

前言

最近爬取的数据都是网页端，今天来教大家如何爬取手机端app数据（本文以ios苹果手机为例，其实安卓跟ios差不多）！

本文将以『某乎』为实战案例，手把手教你从配置到代码一步一步的爬取App数据！

配置抓包工具

1.安装软件

本文选择的抓包工具：Fiddler

具体的下载安装这里不详细赘述！（网上搜Fiddler安装，一大堆教程），本文以实战为例，就不再这里浪费时间了！

2.配置Fiddler

安装好之后，接下来就开始配置Fiddler工具（这里是关键，仔细阅读！）

配置Connections

打开Fiddler后，点击Tools->Options

点击Connections

勾选上对应的选项

配置HTTPS

由于目前大部分APP都是https加密，包括本文实战『某乎』案例也是https加密，因此配置HTTPS，来抓取https数据包！

勾选上对应的选项

最后抓包工具Fiddler就配置好了

记得重启Fiddler！重启Fiddler！重启Fiddler！不然可能不生效

配置手机代理

1.设置代理

准备工作

首先看一下安装Fiddler主机ip（电脑和手机必须处于同一局域网）

查看ip命令

window：ipconfig
mac或linux：ifconfig

开始配置

目标代理主机信息
ip：192.168.31.195

端口：8888

在wifi无线网处进去，点击配置代理

填写好相关代理信息

2.安装证书

在浏览器输入：

http://192.168.31.195:8888

点击下载证书后，下面就开始安装（看图操作）

ok，这样手机端就配置完成，下面开始抓取数据！！！

抓取数据

1.打开某乎app

2.查看数据包列表

打开app之后，Fiddler就已经抓取到数据了

这里可以看到app发送和接收了哪些数据包

为了更加精准定位到某乎（只看目标的数据包），添加一个过滤条件

这样我们获取的数据包列表就都是过滤条件内的目标网址

3.查找数据包

比如点击热榜

对应的https加密数据包如下：

数据包中的数据如下：

提取出url链接

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0

拿到url之后，接着开始编程爬取保存数据。

4.编写爬虫程序

# -*- coding: utf-8 -*-
## 李运辰 2021-3-20
import requests
import json


headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64; rv:84.0) Gecko/20100101 Firefox/84.0',}
url = "https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0"
res = requests.get(url, headers=headers)
res.encoding = 'utf-8'
s = json.loads(res.text)
list = s['data']
for i in list:
    title = i['target']['title']
    print(title)