另辟蹊径，appium抓取app应用数据了解一下！uiautomotor2 && mitmproxy && elasticsearch && kibana (二)

最新推荐文章于 2024-08-16 16:58:12 发布
原创 最新推荐文章于 2024-08-16 16:58:12 发布 · 7.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍如何使用Appium自动化工具抓取京东App的商品数据，涵盖环境搭建、参数配置、自动化脚本编写及数据抓取全流程。

接上一篇  https://blog.youkuaiyun.com/sirobot/article/details/106918774

作为爬虫工程师，你一定知道selenium

什么是selenium？

Selenium原本是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。我们爬虫工程师使用selenium来抓取动态web页面。

今天，我们来介绍另一款自动化测试工具,Appium。

Appium官方文档

https://github.com/DoctorQ/appium/blob/master/docs/en/about-appium/intro.md

什么是Appium?

Appium是一个移动端的自动化框架，可用于测试原生应用，移动网页应用和混合型应用，且是跨平台的。可用于IOS和Android以及firefox的操作系统。

原生的应用是指用android或ios的sdk编写的应用

移动网页应用是指网页应用，类似于ios中safari应用或者Chrome应用或者类浏览器的应用。

混合应用是指一种包裹webview的应用,原生应用于网页内容交互性的应用。

重要的是Appium是跨平台的，何为跨平台，意思就是可以针对不同的平台用一套api来编写测试用例。

同样的Appium原本是一个用于app应用自动化测试工具，我们爬虫工程师也可以利用它，在抓取app应用数据。

Appium相当于一个服务器，我们可以向Appium发送一些操作指令，Appium就会根据不同的指令对移动设备进行驱动，完成不同的动作。

一、本节目标

我们以Android平台的手机京东为例来演示Appium启动和操作App的方法，最终实现抓取手机京东商品数据。

二、准备工作

确保PC已经安装好Appium,本实例在windows环境下安装，安装的appium版本为Appium-Desktop

安装好Android开发环境，uiautomatorviewer工具（必须）、python开发环境和Python版本的Appium API（Appium-Python-Client）

android模拟器(夜神模拟器)安装好手机京东app

确保PC上已安装好mitmproxy抓包工具（必须）、fiddler抓包工具（非必须）

数据存储用数据库为Mongodb

adb连接夜神模拟器与adb常用操作命令

adb connect 127.0.0.1:62001

adb kill-server
在关闭adb服务后，要使用如下的命令启动adb服务。
adb start-server
more than one device/emulator
taskkill /f /im adb.exe
adb uninstall com.xgh.sport
adb install ydfsq0309.apk
adb install -r Sport.apk

640*300

dumpsys meminfo 包名
procrank

转载于:https://www.cnblogs.com/51testing/p/6742460.html

三、获取Appium-Desktop使用的关键参数（Desired Capabilities参数）

Desired Capabilities参数：它们分别是platformName、deviceName、appPackage、appActivity。

platformName：它是平台名称，需要区分Android或iOS，我们使用的是android平台，因此为Android。    
deviceName：它是设备名称，此处是手机的具体类型，deviceName可以通过adb devices命令获取。    
   图片描述

此处注意：模拟器显示为127.0.0.1，真实手机与模拟器显示不同，真实手机为一串字母数据结合

appPackage：它是App程序包名,该参数可以在adb shell中使用logcat获取。    
   图片描述   
命令后回车    
随后，打开android模拟器中的手机京东app    
在adb shell中，我们可以获取到appPackage和appActivity    
   图片描述   
appActivity：它是入口Activity名，这里通常需要以 . 开头，该参数可以在adb shell中使用logcat获取。

其中：

appPackage为：com.jingdong.app.mall

appActivity为：com.jingdong.app.mall.MainFrameActivity

获取到Appium-Desktop使用的关键参数（Desired Capabilities参数）后，我们就可以启动Appium-Desktop了

四、启动Appium-Desktop服务器

图片描述   
   图片描述

确认appium-desktop启动成功后，我们就可以编写代码了

五、编写app启动代码

from appium import webdriver
import time
desired_caps={}
desired_caps['platformName']='Android'
desired_caps['platformVersion']='5.1.1'
desired_caps['deviceName']='172.20.1.194:62001'
desired_caps['appPackage']='com.jingdong.app.mall'
desired_caps['appActivity']='com.jingdong.app.mall.MainFrameActivity'
desired_caps['unicodeKeyboard']=True
desired_caps['resetKeyboard']=True
#启动appium-desktop服务器，服务器IP根据实际填写
driver=webdriver.Remote('http://172.20.1.194:4723/wd/hub', desired_caps)

六、运行代码启动app

 

 

【Android】【问题解决记录】Error obtaining UI hierarchy :Error while obtaining UI hierarchy XML file: com.android.ddmlib.SyncException: Remote object doesn't exist!

关闭appium  重新运行  uiAutomatorviewer  正常

　https://blog.youkuaiyun.com/sirobot/article/details/106939490

Android Sdk manager  安装和 真机或者模拟机同版本的android系统

https://www.cnblogs.com/lilip/p/11089713.html

 

确认手机京东app启动成功，并且无报错后，我们就可以编写自动化代码来控制app行为了

图片描述

如何来定位app内部控件节点呢

答案是使用uiautomatorviewer

   图片描述
通过获取控件的xpath，我们就可以定位到app控件了

七、编写自动化代码

from appium import webdriver
import time
desired_caps={}
desired_caps['platformName']='Android'
desired_caps['platformVersion']='5.1.1'
desired_caps['deviceName']='172.20.1.194:62001'
desired_caps['appPackage']='com.jingdong.app.mall'
desired_caps['appActivity']='com.jingdong.app.mall.MainFrameActivity'
desired_caps['unicodeKeyboard']=True
desired_caps['resetKeyboard']=True
#启动appium-desktop服务器，服务器IP根据实际填写
driver=webdriver.Remote('http://172.20.1.194:4723/wd/hub', desired_caps)

#等待app启动
time.sleep(10)
#关闭广告,如果有

# close_ad=driver.find_element_by_xpath("//android.widget.TextView[@resource-id='com.jingdong.app.mall:id/sq")
close_ad=driver.find_element_by_xpath("//android.widget.FrameLayout[1]/android.widget.ImageView[1]")
if close_ad:
# if close_ad:
    close_ad.click()
#点击分类
# select_fenlei=driver.find_element_by_xpath("//android.widget.RadioGroup[@resource-id='com.jingdong.app.mall:id/tf']/android.widget.RadioButton[2]").click()
# #点击搜索
time.sleep(10)
select_search=driver.find_element_by_xpath("//android.widget.FrameLayout[1]/android.widget.FrameLayout[1]/android.widget.TextView[1]").click()
# select_search=driver.find_element_by_xpath("//android.widget.FrameLayout[1]/android.widget.FrameLayout[1]/android.widget.TextView[1]").click()
#输入关键字
time.sleep(10)
key='笔记本电脑'
#判断是否输入文字
while True:
    if driver.find_element_by_xpath("//android.widget.FrameLayout[1]/android.widget.EditText[1]").text!=key:
        select_keyword=driver.find_element_by_xpath("//android.widget.FrameLayout[1]/android.widget.EditText[1]").send_keys(key)
    else:
        break
#点击搜索
time.sleep(10)
driver.find_element_by_xpath("//android.widget.FrameLayout[1]/android.widget.TextView[1]").click()
time.sleep(1)
start_x=500
start_y=900
distance=800
#模拟手机端滑动
while True:
    driver.swipe(start_x,start_y,start_x,start_y-distance)
    time.sleep(0.2)
    if '抱歉，没有更多商品啦' in driver.page_source:
        break

自动化代码编写完成之后，运行一下，看是否有问题，如无问题，就可以进行下一步了

八、抓取应用数据包

这里，我们通过fiddler抓包工具获取到手机京东的数据包    
      图片描述
查看response，确实是我们想要的数据，接下来就可以编写解析响应数据代码了

九、编写解析响应数据代码

import json
# from save_data import mongo_info
def response(flow):
    if R'jd.com/product' in flow.request.url:
        print(flow.response.text)
        # response_dict=json.loads(flow.response.text)
        # print(response_dict,"*"*100,flow.request.url)
        # if 'wareInfo' in response_dict:
        #     for i in response_dict['wareInfo']:
        #         mongo_info.insert_data(i)

# response()
def request(flow):
    flow.request.headers['User-Agent'] = 'MitmProxy'
    print(flow.request.headers,">"*10)

# import pymongo
# from pymongo.collection import Collection
 
# class Connect_mongo(object):
#     def __init__(self):
#         self.client=pymongo.MongoClient(host='192.168.54.41',port=27017,connect=False)
#         self.db_data=self.client['jingdong']
#     def insert_data(self,item):
#         collections=Collection(self.db_data,'jingdong_data')
#         collections.insert(item)
 
# mongo_info= Connect_mongo()

十、编写数据存储逻辑代码



# import pymongo
# from pymongo.collection import Collection
 
# class Connect_mongo(object):
#     def __init__(self):
#         self.client=pymongo.MongoClient(host='192.168.54.41',port=27017,connect=False)
#         self.db_data=self.client['jingdong']
#     def insert_data(self,item):
#         collections=Collection(self.db_data,'jingdong_data')
#         collections.insert(item)
 
# mongo_info= Connect_mongo()

十一、启动mitmdump，解析数据！

进行  mitmproxy证书安装  即可。

先进入开发者模式    连续点击版本好7次  进入,  还需要设置密码或pin 

证书配置过程中的问题
大致过程安装崔大大博客里介绍的安装即可，有几条提醒的：

在这里插入图片描述

证书位置（其中文中标记的位.p12文件）：

手机安装证书的方式：
首先将证书直接拖拽至夜神模拟器中，然后安装以下步骤安装：

在这里插入图片描述
原文链接：https://blog.youkuaiyun.com/weixin_42964610/article/details/97368211

然后配置模拟器的端口设置----WLAN，如下图所示：长按WiredSSID 三秒

注意：手机或模拟器一定要设置mitmdump服务器IP的代理

启动mitmdump：

mitmdump -p 8889 -s decode_jingdong.py

十二、接下来，启动自动化控制脚本就可以抓取到数据了

python jingdong.py

十三、查看数据

图片描述

 

更多精彩内容详见python爬虫工程师必学，app数据抓取实战

Python爬虫编程思想（129）：使用Appium抓取移动数据(3)--查找Android App的Package和入口Activity
一个被知识诅咒的人
02-08 1529
可能很多同学会有这样的疑问，对于一个陌生的App，我又没有源代码，应该如何获得App的appPackage和appActivity，其实方法有很多。先来说明如何获得App的appPackage。 获取App的appPackage（在没有源代码的情况下），至少有2种方式
APP爬取：基于Appium的App数据爬取实战详解
最新发布
数据知道的博客
02-28 8478
Appium是一个开源的移动应用自动化测试框架，支持iOS和Android平台。它通过WebDriver协议与移动设备通信，允许开发者使用多种编程语言（如Python、Java、JavaScript等）编写自动化脚本，模拟用户操作，进行功能测试、性能测试以及数据提取。基于Appium的App爬取技术为移动应用的数据提取提供了强大的工具支持。通过合理的环境搭建、元素定位、数据提取方法以及实际案例的应用，开发者可以高效地从各种移动应用中获取所需的数据。
AppIum抓取方式
02-18
通过Appium抓取app数据
安卓逆向 - 自动化机采框架(mitmproxy+uiautomator2)
m0_51159233的博客
03-03 1750
本期主要介绍纯python实现的一个app自动化采集方案，模拟用户操作无视反爬，当遇见风控很严格的app时，可以尝试使用。uiautomator2是一个python库，用于Android的UI自动化测试，其底层基于Google uiautomator，Google提供的uiautomator库可以获取屏幕上任意一个APP的任意一个控件属性，并对其进行任意操作。weditor是一个很好用的UI元素定位的工具。
基于 Appium 的 App 爬取实战
qq_39217312的博客
08-16 1707
除了运行 Appium 的基本条件外，还要一个日志输出库安装： pip install loguru。
python利用Appium实现自动控制移动设备并提取数据功能
伤心的辣条
09-25 698
这篇文章主要介绍了python利用Appium自动控制移动设备并提取数据,本文以控制抖音app滑动并获取抖音短视频发布者为例，通过实例代码给大家介绍的非常详细，需要的朋友可以参考下
Appium使用，抓取移动端的数据
qq_43596002的博客
05-15 323
Appium使用，抓取移动端的数据 环境的安装 环境的安装永远是最头疼的，在安装的过程中确实遇到了不少的困难，不过现在已经逐一解决。 安装软件的顺序 android-studio-ide-192.5959023-windows这个软件是第一个装的，并且，要设置好SDK的路径，这个在settings里面的去设置，要选择空的文件夹。 Java JDK 这个就是java环境，路径要选的容易找。 配置环境变量： 在系统变量里面创建：名称ANDROID_HOME，值是:它所在的路径，精确到所在的文件夹就行。 在系
Python学习教程：另辟蹊径，appium抓取app应用数据了解一下
chen801090的博客
09-19 2293
作为爬虫工程师，没有价格不知道selenium的。 什么是selenium？ Selenium原本是一个用于Web应用程序自动化测试工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。支持的浏览器包括IE（7, 8, 9, 10, 11），Mozilla Firefox，Safari，Google Chrome，Opera等。我们爬虫工程师使用selenium来抓取动态web页...
python爬取利用appium抓取得到APP课程数据导出到Excel进行分析，练习Python实现app抓取实例
码在天涯
01-05 1751
python爬取APP爬取思路和方案选择： 用到的库： openpyxl #导出excel appium #自动化测试工具 思路一 通过抓包软件对APP进行抓包分析， 这种方式可以看到 App 在运行过程中发生的所有请求和响应。得知接口之后可以通过设置合适的请求头和各种参数来发送HTTP或者HTTPS请求接口，接口返回的数据就是想要数据了。 python爬取抓取得到APP课...
Appium抓取app数据
u014442978的专栏
02-18 6508
主流APP数据抓取难点：     1.请求参数加密                 －sign签名，使用sha1加上md5做辅助加密   2.请求body加密                 －整个请求体使用DES算法做加解密   3.代理检测反爬                 －抓包设置代理后，直接不再加载数据   4.私有CA证书反爬                ...
手机爬虫用Appium详细教程：利用Python控制移动App进行自动化抓取数据
D0126_的博客
10-16 3894
在大数据时代，处理海量数据是一项巨大挑战。而Hadoop作为一个开源的分布式计算框架，以其强大的处理能力和可靠性而备受推崇。本文将介绍Hadoop及MapReduce原理，帮助您全面了解大型数据集处理的核心技术。根据实际需求，编写自定义的Mapper和Reducer类，实现特定的数据处理逻辑。根据任务的优先级和集群的资源情况，选择合适的调度器，以提高作业的执行效率。建议二：编写自定义Mapper和Reducer。建议三：选择合适的调度器。
uiautomator2+mitmproxy+weditor+Python3抖音数据抓取
热门推荐
wywinstonwy的专栏
06-02 1万+
一、uiautomator2 UiAutomator是Google提供的用来做安卓自动化测试的一个Java库，基于Accessibility服务。功能很强，可以对第三方App进行测试，获取屏幕上任意一个APP的任意一个控件属性，并对其进行任意操作，但有两个缺点：1. 测试脚本只能使用Java语言 2. 测试脚本要打包成jar或者apk包上传到设备上才能运行。 我们希望测试逻辑能够用Python编写，能够在电脑上运行的时候就控制手机。这里要非常感谢 Xiaocong He (@xiaocong)，他将这个
Appium-Get All Cookies(获取所有cookie)
weixin_45576146的博客
04-21 966
Get All CookiesExample UsageSupportAppium ServerAppium ClientsHTTP API SpecificationsEndpointURL ParametersJSON ParametersResponse Retrieve all cookies visible to the current page(Web context only) //检索当前页可见的所有Cookie（仅限Web上下文） Example Usage Java
app抓包于appium爬取数据
jxt_yes的博客
09-20 3206
爬取方式Pc:1、找数据接口，用requests 2.selenium自动化工具爬虫App:1、找到数据接口，fiddier工具，2.appium类似selenium，速度很慢 脱壳模拟器安装与启动双击软件-自动安装-桌面（夜神模拟器，模拟器助手）–点击模拟器助手–点击多开管理–添加模拟器–创建5.几的版本–设置–手机版本模拟器安装app安装方式有两种1、直接拖拽：将apk文件直接过进去，会直接进行安装，卸载，鼠标左键点击按下不放，出现卸载的小框，点击卸载选项。
Python uiautormator2 APP自动化操作说明
qq_36283274的博客
11-04 3906
uiautormator2的操作整合 环境：python3.8.5，adb1.0.41，uiautomator2 2.11.3，weditor 0.6.1 整合环境下载： 创建一个 requirements.txt 文件，格式为：包名==版本 通过pip instll -r ./requirements.txt 命令来安装 # requirements.txt uiautomator2==2.11.3 weditor==0.6.1 单个环境下载 安装方式：pip install --pre uiautom
如何使用appium爬取手机app的数据
欢迎来到剑飞的小屋！
04-10 6862
工具：windows，pycharm，appium 第一步：环境搭建： 运行之前将环境调试好，需要安装Android，java，nodejs，appium 安装方法自行百度。 安装好之后，打开cmd,输入appium,出现如下界面，说明你的环境搭建好了。 第二步：配置手机： 打开手机的usb开发者模式，打开方式自行百度。 小米的要再打开一个usb调试（安全设置），这个原来没打开，死活连不上。 第三...
appium自动爬取数据
julielele的博客
08-03 2374
appium自动爬取数据
Appium+mitmdump 爬取京东商品
人生苦短， 还不用Python？
11-30 1181
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者： 静觅 PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 本节目标 以抓取京东 App 的商品信息和评论为例，...
python+appium抓取app信息
02-26
### 使用 Python 和 Appium 获取应用程序详细信息 为了获取应用程序的详细信息，可以利用 `DesiredCapabilities` 来设置启动参数，并通过特定的能力(capabilities)来访问应用的不同属性。以下是具体方法： #### ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值