爬虫学习笔记（二十三）—— Appium+Mitmproxy

一、工具

1.1、手机投屏工具

• scrcpy投屏演示
  1. usb连接电脑
  2. cmd中 scrcpy启动投屏工具
  3. 下载地址：https://github.com/Genymobile/scrcpy/releases
  4. 使用方法：https://blog.youkuaiyun.com/was172/article/details/99705855

---

1.2、fiddler、mitmproxy和APPium

• fiddler抓包
  1. 模拟器/手机与电脑同一网络
  2. 设置手机代理，安装证书
  3. 打开fiddler
• mitmproxy抓取数据
  1. 模拟器/手机与电脑同一网络
  2. 设置手机代理，安装证书
  3. mitm命令开启工具
• appium手机自动化
  1. usb连接电脑
  2. 开发者模式
  3. usb调试打开

---

二、案例：火山急速版视频抓取

2.1、视频链接

以下有两种方式可以找到我们需要的视频的url:
1、Fiddler抓包：

JSON数据中找到video里面的download_url或url_list，这个字段下面有我们需要的视频下载url

2、mitmproxy
mitmproxy抓包时在response标签往下滚动可以找到show full content选项，显示完整的响应体

这两种方式都可以对模拟器中的请求进行抓取，注意要在模拟器网络中选择相对应的端口号，例如在我的电脑环境中，使用fiddler抓包端口号是8888，使用mitmproxy抓包端口号是8080

---

2.2、代码实现

2.2.1、Appium自动化翻页

1、建立连接

from appium import webdriver
import time
desired_caps = {
   
    'platformName': 'Android',         #被测的手机是安卓
    'platformVersion': '7.1.2',        #手机安卓版本
    'deviceName': 'BieYa',             #设备名，安卓手机可以随意填写
    'appPackage': 'com.ss.android.ugc.livelite',   #启动APP package名称      shell用查看app应用名
    'appActivity': 'com.ss.android.ugc.live.main.MainActivity',  #启动Activity名称
    'unicodeKeyboard': True,           #使用自带输入法，输入中文是填true
    'resetKeyboard': True,             #执行完程序恢复原来输入法  经常来不及执行需要手动恢复
    'noReset': True<