如何测试CTS4.1

最新推荐文章于 2021-05-31 03:24:48 发布
原创 最新推荐文章于 2021-05-31 03:24:48 发布 · 4.9k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#测试 #平台 #session #终端 #报表

本文详细介绍了如何准备平台、创建CTS4.1测试任务、理解测试报告、继续未完成的测试计划，以及如何针对失败项和单个测试用例进行测试。提供了CTS4.1测试的步骤和注意事项，包括环境配置、命令行操作和测试报告解析。

CTS4.1测试步骤 V1.0 （更新到CTS4.1 R1）


前言：其实CTS4.1 R1的测试方法和CTS4.0 R2&R3一样，只是测试环境需要新的SDK r20.0.1，SDK下载链接：http://developer.android.com/sdk/index.html

所以这篇文章有点偷懒了，呵呵。

 

第一：平台准备工作

第二：新建CTS测试任务

第三：关于CTS4.1测试报告

第四：继续测试未完成的计划

第五：单独对fail/notExecuted/timeout的测试项进行测试

第六：单独测试某个Case

第七：注意事项

 


----------------------------------------------

第一部分：平台准备工作

----------------------------------------------

1.进入Settings > SD Card & phone storage > Factory data reset，对平台进行reset一次

2.平台插入一张空的TF卡

3.平台安装两个APK：CtsDelegatingAccessibilityService.apk，CtsDeviceAdmin.apk

4. 进入settings打开Wi-Fi并连接AP (AP需要连外网)

5.进入settings->Security->Screenlock设为None

6.进入settings->Security->EnableUnknown sources

7.进入settings->Security->Deviceadministrators->Enable两个选项

8.进入Language&input->language设为English(UnitedStates)

9.进入settings->Display->Sleep设为30minutes或None

10.进入settings->Accessibility->EnableDelegating Accessibility Service

11.进入settings->Developeroptions->Enable USB debugging、Stay awake、Allowmock locations

12. 进入settings->Date&time->Select time zone设为Pacific Time

13.PC上copy“android-cts-media-1.0”，在android-cts-media-1.0文件下输入source ./copy_media.sh all (因为发现原来的./copy_media.sh脚本不能复制所有文件）运行脚本，将media文件copy进平台。成功后会在平台的内存中看到test文件夹。Media file下载链接：CTS Media 1.0 （下载后需要解压）


----------------------------------------------

第二部分：新建CTS测试任务（每次输入后加回车）

----------------------------------------------

1.平台用USB线连接LinuxPC （连通后平台左上方会显示usb和debug icon）

2.打开终端

3.输入sudosu -

      输入root密码

4.输入cd ../..

      输入 cd /home/linux/cts/android-cts-4.1_r1-linux_x86-arm/android-cts/tools  (这个是cts-tradefed文件所在路径，各位需要输入实际路径)

      输入 ./cts-tradefed

      终端显示   01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果没有这行，说明设备没有和PC联通）

Android CTS 4.1_r1

cts-tf >

 

5.输入run cts --plan CTS

      终端显示  cts-tf > run cts --plan CTS

cts-tf> 01-16 15:45:34 I/TestInvocation: Starting invocation for 'cts' on build'4.1_r1' on device 0123456789ABCDEF

01-16 15:45:35I/0123456789ABCDEF: Created result dir 2012.01.16_15.45.34

       开始测试CTS

 


----------------------------------------------

第三部分：关于CTS4.1测试报告

----------------------------------------------

1.CTS测试报告是自动生成一个xml报表，并自动填写的，不需要测试人员干预

2.当一个CTS测试任务开始时，会在android-cts-4.1_r1-linux_x86-arm/android-cts/repository/results中，为这个任务建立一个存放测试报告的文件夹，文件名以任务开始的日期和时间命名。

   例如：2012.01.12_13.00.03

3.CTS4.1生成测试报告的速度比CTS2.3/2.2要慢不少，特别是在测试过程中中断测试，CTS4.1需要70秒才会开始生成报告。如果你在此过程中按ctrl+c终止CTS进程，测试报告就无法生成，以后也无法继续测试未完成的计划。

下方是中途断开后生成报告的例子：

01-1813:50:19I/0123456789ABCDEF: android.accounts.cts.AccountManagerTest#testHasFeature FAIL

Testfailed to run to completion. Reason: 'Test run failed to complete. Expected 1tests, received 0'. Check device logcat for details

01-1813:51:29I/0123456789ABCDEF: android.accounts package complete: Passed 20, Failed 2, NotExecuted 6

01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:29 I/0123456789ABCDEF: Test package android.admin started

01-1813:51:29 I/0123456789ABCDEF: -----------------------------------------

……

01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:30 I/0123456789ABCDEF: Test package android.widget started

01-1813:51:30 I/0123456789ABCDEF: -----------------------------------------

01-1813:51:30 I/0123456789ABCDEF: Saved log device_logcat_8558243668624894128.zip

01-1813:51:30 I/0123456789ABCDEF: Saved log host_log_6087775957743010530.zip

01-1813:51:30 I/0123456789ABCDEF: android.widget package complete: Passed 0, Failed0, Not Executed 988

01-1813:51:30 I/0123456789ABCDEF: Created xml report file at

file:///home/linux/cts/android-cts-4.1_r1-linux_x86-arm/android-cts/tools/./../../android-cts/repository/results/2012.01.18_13.43.56/testResult.xml

01-1813:51:31 I/0123456789ABCDEF: XML test result file generated at2012.01.18_13.43.56. Passed 28, Failed 20, Not Executed 17110

01-1813:51:31 I/0123456789ABCDEF: Time: 2m 45s

01-1813:51:33 W/DeviceManager: Freed device 0123456789ABCDEF is unavailable.Removing from use.

01-1813:52:38 E/BackgroundDeviceAction: Device 0123456789ABCDEF not online

 

3.CTS测试任务完成后，会生成testResult.xml和2012.01.12.zip打开这个文件夹中的testResult.xml（用firefox或IE浏览器打开)，查看报表是否完全。

4.确认报表后，将整个文件夹复制出来，然后压缩后发给相关人员

 

 

----------------------------------------------

第四部分：继续测试未完成的计划

----------------------------------------------

CTS4.1对未完成的测试计划不会生成xml报告，这个和CTS2.3/2.2不同。但是，这并不意味测试中断后无法继续未完成的测试。

1. 前提条件是有未完成的测试计划

2. 平台用USB线连接LinuxPC   （连通后平台右下方会显示usb和debugicon）

3. 打开终端

4. 输入sudo su –

     输入root密码

5. 输入cd ../..

     输入cd /home/linux/cts/android-cts-4.1_r1-linux_x86-arm/android-cts/tools(这个是startcts文件所在路径，各位需要输入实际路径)

     输入 ./cts-tradefed

      终端显示   01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果没有这行，说明设备没有和PC联通）

Android CTS 4.1_r1

cts-tf >

6.输入l r

       终端显示

Session  Pass Fail  Not Executed  Start time                      Planname 

    0             7       0      0                     2012.01.16_16.09.19    NA        

    1           13      0      0                     2012.01.16_16.13.01    NA        

    2           19      19    17120           2012.01.18_13.43.56    CTS       

（根据start time时间，确定你要的任务的session编号）

7. 输入 run cts –continue-session session_id （session编号）

   终端显示

cts-tf> 01-18 13:48:45 I/TestInvocation: Starting invocation for 'cts' on build'4.1_r1' on device 0123456789ABCDEF

01-1813:49:59 I/0123456789ABCDEF: Collecting device info

01-1813:50:00 I/0123456789ABCDEF: -----------------------------------------

01-1813:50:00 I/0123456789ABCDEF: Test package android.accounts started

01-1813:50:00 I/0123456789ABCDEF: -----------------------------------------



----------------------------------------------

第五部分：单独对fail/notExecuted/timeout的测试项进行测试

----------------------------------------------

1.前提条件是已经有完成的测试结果testResult.xml文件 add derivedplan --plan plane_name --session/-s session_id-r [pass/fail/notExecuted/timeout]

2.平台用USB线连接LinuxPC    （连通后平台左上方会显示usb和debugicon）

3.打开终端

4.输入sudosu -

      输入root密码

5.输入cd ../..

      输入 cd /home/linux/cts/android-cts-4.1_r1-linux_x86-arm/android-cts/tools  (这个是startcts文件所在路径，各位需要输入实际路径)

      输入 ./cts-tradefed

      终端显示   01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果没有这行，说明设备没有和PC联通）

                         Android CTS 4.1_r1

                         cts-tf >

6.输入l r

      终端显示

     Session Pass  Fail  Not Executed       Start time                                     Plan name 

            0         7         0        0                         2012.01.16_16.09.19                        NA        

            1        13        0        0                         2012.01.16_16.13.01                        NA 

   （根据start time时间，确定你要的任务的session编号）

7.输入addderivedplan --plan plane_name（新建一个测试计划） --session/-s session_id -r[pass/fail/notExecuted/timeout] （只能选择其中一项）  

8.输入run cts –plan plane_name（新建的测试计划名称） 开始测试

9.测试完成后，CTS会自动生成一个新测试报表文件夹

 

----------------------------------------------

第六：单独测试某个Case

----------------------------------------------

1.目前对单个Case每单独测试一次，就会生成一个Session（和测试报告xml）。所以，一般在有需求的情况下才会进行测试。

2.平台用USB线连接LinuxPC    （连通后平台左上方会显示usb和debugicon）

3.打开终端

4.输入sudosu -

      输入root密码

5.输入cd ../..

      输入 cd /home/linux/cts/android-cts-4.1_r1-linux_x86-arm/android-cts/tools  (这个是startcts文件所在路径，各位需要输入实际路径)

      输入 ./cts-tradefed

      终端显示   01-16 15:44:05 I/DeviceManager: Detected newdevice 0123456789ABCDEF(如果没有这行，说明设备没有和PC联通）

Android CTS 4.1_r1

cts-tf >

6.从CTS测试报告XML文件中查找需要测试的Case的packagename 和 method name

例如：





按上方的例子：android.acceleration.cts.HardwareAccelerationTest是package name，testIsHardwareAccelerated是method name

7.输入runcts -c android.acceleration.cts.HardwareAccelerationTest --m testIsHardwareAccelerated开始测试这个Case

8. 测试完成后，CTS会自动生成一个新测试报告文件夹


----------------------------------------------

第七部分：注意事项：

----------------------------------------------

1.CTS4.1的命令和CTS2.3/2.3完全不同，所以在进入CTS后，先输入help看看命令的格式和意思。

2.CTS要求测试平台的硬件和Android内置APK功能完好

3.正常测试一次CTS4.1，需要6小时。所以，测试时请接上电源，并尽量在晚上测试，不会影响平台的使用

4.CTS是自动化测试，测试过程中不需要人的干预。如果在上班时间，每1－2小时观察下即可

5.CTS4.1在测试过程中断开、终止都不会生成测试报告，所以，测试前要保证USB连接稳定和平台设置

6.CTS每次执行run cts –plan CTS时，CTS会搜索android-cts-4.1_r#-linux_x86-arm/android-cts/repository/results中的历史报表文件夹。如果文件有很多，启动速度会非常慢。所以，请定期清理results文件夹中的历史报表（直接删除报表文件夹即可）

如何测试CTS4.0
subsist的专栏
01-18 1万+
CTS4.0测试步骤 V1.2 （更新到CTS4.0 R3）   第一：平台准备工作 第二：新建CTS测试任务 第三：关于CTS4.0测试报告 第四：继续测试未完成的计划 第五：单独对fail/notExecuted/timeout的测试项进行测试 第六：单独测试某个Case 第七：注意事项   ---------------------------------
泄露测试仪CTS的Sentinel I28使用
qq_34047402的博客
03-10 1643
本文介绍：泄露测试仪CTS的Sentinel I28使用
如何测试CTS4.2
subsist的专栏
01-08 3072
CTS4.2测试步骤 V1.0 （更新到CTS4.2 R1） 前言：Google仍然高效的更新了android的版本，同样CTS也随之更新。看了一遍最新的android-cts-manual-r6.pdf，CTS4.2只在准备阶段的factory reset的操作路径做了改变，其他设置未作改变。测试环境需要新的SDK r21.0.1，SDK下载链接：http://developer.an
android cts 6.0 r1,Android CTS
weixin_39985842的博客
05-29 191
❀ testcase timeout测试某个testcase的时候一直出现 “........”，迟迟没有pass或者fail，等良久出现一个血淋淋的timeout，很让人伤心。有不少人笑嘻嘻的以为timeout 挺好，至少它不是fail。在我看来timeout 比 fail 还恐怖，因为它连进行测试到底是pass还是fail的权利都没有。想不被硬件设备厂商笑话，必须0 timeout ，然后再争...
android 7.0 cts命令,2. CTS 常用指令
weixin_39826984的博客
05-31 521
CTS 常用指令1.copy media 文件进入android—cts-media-1.1文件夹目录下：> bash ./copy_media.sh all (将所有media文件拷贝到手机)2.完全测试进入android-cts/tools目录下：>./cts-tradefed (进入cts命令行)> 执行后显示连接的设备信息、测试CTS包信息；输入CTS完全测试命令：&...
CTS(11)---android自动化测试CTS源码分析之一
zhangbijun1230的专栏
05-09 2185
android自动化测试CTS源码分析之一1, 概述CTS(Compatibility Test Suite)全名兼容性测试,主要目的就是让Android设备开发商能够开发出兼容性更好的android设备。本文的CTS源码基于android 5.1,和其他自动化测试指令一样,CTS测试命令也是通过脚本运行的。CTS源码中的脚本路径: CTS/tools/tradefed-host/etc/ cts...
CTS4.1测试步骤
06-26
CTS4.1测试步骤,超级详细，参照可以快速实现CTS认证测试
Linux下的CTS4.1/4.3环境搭建与测试方法
11-15
本知识点将详细描述Linux环境下CTS4.1和CTS4.3的环境搭建及测试方法，并指出两个版本在搭建和测试流程中的差异。 Linux环境准备： 在进行CTS环境搭建之前，首先需要确保Linux系统满足基本要求。本例中使用Ubuntu...
Linux下CTS&GTS;的搭建与测试指导V2.0.pdf
06-18
4.1 CTS快速执行（不配置环境变量测试方法） 对于不太熟悉测试环境配置的开发者，这里提供了一种快速执行测试的方法，即在不进行详细环境变量配置的情况下进行测试。 4.2 运行CTS（已配置环境变量） 这部分将...
Andriod 安全之Windows下CTS自动化测试环境的搭建
Tamic （大白）
08-28 5633
安卓应用离不开性能测试，也离不开安全测试，CTS是常用的安全测试工具，开发人员了解和正常使用是必不可少的，现在我们就看看怎么在windows下搭建cts测试环境。
CTS/GTS相关命令
哈喽沃德
09-08 7339
最近由于项目上cts/gts问题太多，于是在帮同事分担部分问题fail项的解决、android5.1和android5.0 下面是简单总结了下相关的一些命令，当然还有很多，这个就需要平时多多留意并学习积累了。 CTS-tradefed host version 5.1_r2 CTS-tradefed is the test harness for running the A
CTS 测试 入门
贱贱的杨 blog
12-29 4171
CTS 测试 入门下载CTS对应工具 如果可以翻墙，直接登录兼容性测试套件下载对应版本的 我这次使用的是7.1.2的android 版本，于是就下载了对应7.1版本（700多M） 然后检查自己手机芯片架构是ARM 还是 x86，澎湃S1是ARM架构，所以选择对应ARM的CTS兼容性工具和兼容性验证程序的包下载 下载 media 资源 选择最新版本下载 很大（大概4.3G） 配置手机和电脑环境配
没有Linux电脑运行cts,Android-CTS测试规范(linux系统)
weixin_30800249的博客
05-09 110
java测试包start --plan test_plan_name -t/--test test_name -d/--device device_ID: 用指定的device运行一个特定的测试方案start --plan test_plan_name -p/--package java_package_name -d/--device devic e_ID: run a specific jav...
android CTS测试
prettyice的专栏
04-19 6984
Android 4.0 CTS 测试方法     这段时间公司做CTS测试，下面是一些总结，以android4.0.3为例，希望对大家有所帮助！ 一 CTS测试简介 The Android compatibility program makes it easy for mobile device manufacturers to develop compatible Android devi
运行 CTS 测试命令
wed110的专栏
08-23 9879
运行 CTS 测试 CTS tradefed 使用入门 您可以参阅Trade Federation 概述，了解有关 Trade Federation（简称 tradefed 或 TF）持续测试框架的说明。 运行测试计划的操作如下： 至少连接一个设备。 在开始运行 CTS 时，按主屏幕按钮将设备设置为显示主屏幕。 当设备在运行测试时，不能执行任何其他任务，并且必须保持静止状态（以免触发...
android CTS 兼容测试
热门推荐
04-11 2万+
CTS介绍-----------------------------------------------3 什么是CTS------------------------------------------3 测试环境搭建-------------------------------------------3 测试环境--------------------------------------...
CTS测试流程及注意事项
weixin_39814274的博客
10-17 6116
一、测试前的准备 1.测试环境：在Linux系统下测试 安装SDK,JDK,ADB,Python工具包。 2.下载媒体文件包：    下载网站：https://source.android.com/compatibility/cts/downloads （在网页的最下方） 3.下载需要测试的软件包 4.手机准备  （1）刷好需要测试的版本  （2）设置好基本的设置        1...
Android CTS 结果 testResult.xml 修改 fail 项 为 notExecuted 项 分析
langrenyijiu的专栏
06-21 3957
这两天一直在搞 Android 4.1 CTS ，每次完整跑完一遍后总有几百项 failed，用编辑器手动改为 notExecuted 项后重新跑，有很多项第二次都跑过了。但是发现直接修改也带来很多问题。如下：1. 最初是这样的 but was: at android.media.cts.AudioManagerTest.testVolume(AudioManagerTest.java:337)
cts 如何只跑某个测试用例
最新发布
08-01
在 CTS（Compatibility Test Suite）测试框架中，运行单个指定的测试用例可以通过命令行工具结合特定参数来实现。以下是具体操作步骤： ### 指定运行单个测试用例的方法 1. **使用 `--test` 参数** 在 CTS 命令行中，可以通过 `--test` 参数指定要运行的测试用例。格式为 `包名.类名#方法名`，例如： ```bash run cts --test android.example.test.package.TestCaseClass#testMethodName ``` 这种方式可以精确控制仅执行指定的测试方法，适用于调试或验证某个具体功能是否通过测试。 2. **结合模块名称运行测试用例** 如果测试用例属于某个特定模块，可以结合模块名和测试用例名称一起指定： ```bash run cts -m AndroidExampleModule --test android.example.test.package.TestCaseClass#testMethodName ``` 这里 `-m` 用于指定模块名称，确保测试框架只在该模块中查找并运行指定的测试用例。 3. **通过 `--plan` 参数使用测试计划文件** CTS 支持通过测试计划文件（.xml）来定义需要运行的测试用例集合。可以手动创建一个包含单个测试用例的计划文件，然后运行： ```bash run cts --plan example-plan ``` 其中 `example-plan.xml` 文件内容如下： ```xml <TestPlan name="example-plan"> <TestEntry> <TestPackage name="android.example.test.package" /> <TestClass name="android.example.test.package.TestCaseClass" /> <TestMethod name="testMethodName" /> </TestEntry> </TestPlan> ``` 这种方式适用于需要重复运行特定测试用例的场景。 4. **中断测试与报告生成的注意事项** 在 CTS4.1 中，如果测试过程中按 `Ctrl+C` 终止进程，测试报告将无法生成，并且无法继续未完成的测试计划。因此建议在运行单个测试用例时保持测试流程完整，以确保报告生成和结果记录的完整性[^1]。 ### 示例：运行单个测试用例 假设要运行的测试用例为 `android.example.test.package.TestCaseClass#testMethodName`，可使用如下命令： ```bash run cts --test android.example.test.package.TestCaseClass#testMethodName ``` 如果该用例属于模块 `android.example.module`，则命令为： ```bash run cts -m android.example.module --test android.example.test.package.TestCaseClass#testMethodName ``` ### 日志与调试建议 在运行单个测试用例时，建议通过查看 CTS 的日志输出来跟踪测试执行情况。日志通常会显示测试用例的执行状态、错误信息以及失败原因。根据日志提示，可以快速定位问题并进行调试[^3]。 ---
评论 16
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值