《Python爬虫100例》复盘⑦,解决手机APP爬虫环境问题

本文详述了使用Fiddler、Charles及mitmproxy等工具进行移动端APP数据抓包的过程,包括环境配置、证书安装、模拟器配合以及实际案例分析。涉及儿歌多多、百思不得姐等APP的数据抓取,并提供了遇到APP停服时的替代方案。同时,介绍了Appium的安装和51JOB_APP的操作。适合爬虫初学者和移动开发人员学习。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

案例 41:Fiddler+夜神模拟器

这篇案例主要学习的其实是 Fiddler + 夜神模拟器的环境配置,因为多数情况下捕捉到手机APP的接口,就已经解决了爬虫的最大问题。

案例中使用的 fiddler 是 4.0 版本,整体的安装流程复盘了一下,无大问题。
学习过程中重点注意的是[证书的安装],包括电脑证书,手机端证书。

这里也发现了一个评论,询问手机端证书问题,如果发现证书直接点击无法安装,请在手机端设置->安全 里面找到从 SD卡安装证书,导入即可。

夜神模拟器就是一款普通软件,按照正常流程安装即可。
建议下载历史版本:https://support.yeshen.com/zh-CN/win-release/6612,最新版本使用的是安卓7.0,可能会碰到一些比较难的点。

案例 42:爬取儿歌多多APP数据

这篇案例重点学习 Fiddler 与模拟器的配合,过程中捕获的接口,测试之后,发现可以使用。

http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1

案例 43:百思不得姐APP数据

好家伙,这个APP没有了,建议大家切换一个段子类的APP,就可以继续学习啦,流程是一致的。

建议:段子大全,糗事段子手,内涵段子,每日经典段子……

案例 44:Charles安装与使用

本篇博客与案例41一致,使用的是另一款抓包软件 Charles,学习难度不大,安装之后,可以配合夜神模拟器获取到数据即可。

案例 45:Charles抓取兔儿故事

依旧是APP不存在了,好多APP竟然还没有我们的课程【存在】的时间长,这里将 《兔儿故事》这款APP,切换为任意“儿童故事类APP”,即可实现一样的逻辑。

例如:幼儿园歌谣大全,宝宝催眠曲,宝宝学唱儿歌……

案例 46:Charles抓取手机收音机

本案例无问题,在博客中曾提及了 “荔枝APP”,可以去操作一把。

接口依旧可用:https://rapi.qingting.fm/categories/442/channels?&page=1&pagesize=30

案例 47:mitmproxy安装与模拟器

本案例主要介绍的是爬虫辅助工具 mitmproxy,你将其理解为网页版的 Fiddler 就行,使用方式也十分类似。

原博客写作的时间始2019年1月,现在已经是2021年11月了,重点注意博客中的最后一张图片。

如果信仰有颜色,那一定是中国红!

案例 48:使用mitmdump抓取手机惠农APP

接口可用,案例无问题,《手机惠农》APP,好样的。

案例 49:Appium安装+操作51JOB_APP

这篇博客的重点是 Appium 的安装,在原版博客中使用的是 Appium-DeskTop 1.10 版本,如今你在打开其最新版本,已经变为了 v1.22.0,而且 Appium Inspector 也被分离了出去,关于 Appium 的安装教程,我将在新版《Python爬虫120例》中进行专门展示,如果你已经订阅 《Python爬虫100例》,可以联系我获得单独的PDF文件。

Python 爬虫 100 例专栏,有反爬相关教程,学起来
《Python 爬虫100 例》

今日复盘结论

今天复盘了 9 个案例,本部分博客,内容主要围绕手机APP抓包,所以在学习的时候,重点在抓包工具的采集与与安装上,各种APP,你可以去任意安卓商店下载、测试。

收藏时间

本期博客收藏过 400,立刻更新下一篇

今天是持续写作的第 260 / 200 天。
可以关注我,点赞我、评论我、收藏我啦。

更多精彩


在这里插入图片描述

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

梦想橡皮擦

如有帮助,来瓶可乐

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值