TvtsAssistantTest

Google XTS TV认证测试经验总结 销往海外的Android电视,若想使用Google的应用程序和服务,如YouTube、Gmail、Google Play Store等,必须通过此认证,获得Google授权。此贴详细介绍了Google XTS认证的环境搭建及测试方法。 阅读详情

概述

TvtsAssistantTest是google最近推出的关于TV的TVTS中的一个测试模块,用来测试系统健壮性(system health )的,主要是通过katniss(google 语音助手)查找天气、启动youtube等相关测试 本文基于android-tvts_r1.03版本进行说明;
在这里插入图片描述

测试内容

环境准备与测试方法

环境准备:

1.需要连接外网
2.需要将系统语言切换为English(US)
注意:Assistant的后台服务器会根据不同系统语言返回不一样的搜索结果,Assistant会展示不同的界面布局,非English(US)语言下会因找不到对应控件ID而导致测试失败

测试方法:

进入tools目录,执行tvts-tradefed,会进入测试控制台;
测试TvtsAssistantTest模块:run tvts-rc –m TvtsAssistantTest
测试单用例:run tvts-rc –mTvtsAssistantTest –t testcase_name

测试代码流程

配置文件:

通过编辑器打开android-tvts_r1.03\android-tvts\testcases下的TvtsAssistantTestCases.config文件可以看到对应的测试代码在TvtsAssistantTestCases.jar中
在这里插入图片描述

测试代码:

通过反编译TvtsAssistantTestCases.jar,在TvtsAssistantTest中可以看到

  @Test
  public void testNormalDeviceUsage() {
      this.mMetricAggregators.add(new KatnissNormalUseSearchToQueryKpi());
      this.mMetricAggregators.add(new KatnissNormalUseQueryToResultKpi());
      runAssistantTest("ShowInformationTest", 20);
      runAssistantTest("OpenYouTubeTest", 20);
      runAssistantTest("WeatherTest", 20);
  }

  @Test
  public void testHeavyDeviceUsage() {
      this.mMetricAggregators.add(new KatnissHeavyUseSearchToQueryKpi());
      this.mMetricAggregators.add(new KatnissHeavyUseQueryToResultKpi());
      runAssistantTest("HeavyDeviceUsageTest", 20);
  }

其中的runAssistantTest方法在tvts-assistant-common.jar中的TvtsBaseAssistantTest类中,具体方法如下

 public void runAssistantTest(String testName, int numRuns) {
       Throwable ex;
       this.mCurrentTestName = testName;
       if (getNumTestRuns() != null && getNumTestRuns().intValue() > 0) {
           numRuns = getNumTestRuns().intValue();
       }
       CLog.logAndDisplay(LogLevel.INFO, "Test: %s", new Object[]{testName});
       CLog.logAndDisplay(LogLevel.INFO, "%s\t%s\t%s", new Object[]{SEARCH_TO_QUERY, QUERY_TO_RESULT, QUERY_TO_RESULT_NO_NET});
       for (int i = 1; i <= numRuns; i++) {
           try {
               this.mSystemHealthMetricParser = getSystemHealthMetricParser();
               preConditionChecks();
               preIterationActions();
               File metricsFile = getDevice().pullFile(METRICS_PATH);
               if (metricsFile != null) {
                   runBashCmd(String.format("rm -f %s", new Object[]{metricsFile.getAbsolutePath()}));
               }
               getDevice().executeShellCommand(String.format("truncate -s 0 %s", new Object[]{METRICS_PATH}));
               runTestAndProcess(testName); //此方法中会安装testName对应的apk
               postIterationActions();
           } catch (AssertionError e) {
               ex = e;
               try {
                   CLog.logAndDisplay(LogLevel.ERROR, "Run %d/%d encountered exception. See logs for details", new Object[]{Integer.valueOf(i), Integer.valueOf(numRuns)});
                   CLog.e(ex.getMessage());
               } finally {
                   postIterationActions();
               }
           } catch (DeviceNotAvailableException e2) {
               ex = e2;
               CLog.logAndDisplay(LogLevel.ERROR, "Run %d/%d encountered exception. See logs for details", new Object[]{Integer.valueOf(i), Integer.valueOf(numRuns)});
               CLog.e(ex.getMessage());
           } catch (FileNotFoundException e3) {
               ex = e3;
               CLog.logAndDisplay(LogLevel.ERROR, "Run %d/%d encountered exception. See logs for details", new Object[]{Integer.valueOf(i), Integer.valueOf(numRuns)});
               CLog.e(ex.getMessage());
           }
       }
   }

在runAssistantTest方法中会安装传入testName对应的testName.apk,并运行对应的apk进行测试,根据传入的numRuns确定循环测试的次数,即各测试单项将运行测试20次;
以ShowInformationTest.apk为例进行流程说明:
通过反编译ShowInformationTest.apk找到对应方法,

package com.google.android.apps.tvsearch.systemhealth;

import androidx.test.ext.junit.runners.AndroidJUnit4;
import com.google.android.apps.tvsearch.testing.systemhealth.SystemHealthTestCase;
import org.junit.Test;
import org.junit.runner.RunWith;

@RunWith(AndroidJUnit4.class)
public class ShowInformationTest extends SystemHealthTestCase {
   @Test
   public void testDetailedShowInformation() throws Exception {
       openApp("audio/searchShowInformation.pcm");
       awaitKnowledgePanelWithTitle("The Big Bang Theory");
   }
}
   /* access modifiers changed from: protected */
   public void openApp(String packageName, String audioFile) throws Exception {
       String valueOf = String.valueOf(PATH);
       String valueOf2 = String.valueOf(audioFile);
       sendAudioFileBroadcast(valueOf2.length() != 0 ? valueOf.concat(valueOf2) : new String(valueOf));
       Thread.sleep(1000);
       setOpaTvIntent();
       awaitAppOpen(packageName);
   }

   /* access modifiers changed from: protected */
   public void openApp(String audioFile) throws Exception {
       openApp("com.google.android.katniss", audioFile);
   }

在 openApp(“audio/searchShowInformation.pcm”)方法中会启动com.google.android.katniss,并通过广播启动播放audio/searchShowInformation.pcm音频文件(对应音频文件在testcase文件中,配置文件中有提到 <0ption name=“push” value=“searchShowInformation.pcm-/storage/emulated/0/googletest/test_runfiles/google3/javatests/com/google/android/apps/tvsearch/systemhealth/audio/searchShowInformation.pcm” />,然后通过awaitKnowledgePanelWithTitle(“The Big Bang Theory”)方法在界面上搜索The Big Bang Theory内容 ,其中的判断方法如下

  public boolean titleMatchesExpectedString(String expectedTitle) throws UiObjectNotFoundException {
        return expectedTitle.equals(getByResourceId("com.google.android.katniss:id/entity_row_header_title").getText());
    } 

titleMatchesExpectedString方法中通过"com.google.android.katniss:id/entity_row_header_title"控件中的字符串与"The Big Bang Theory"进行比对,awaitKnowledgePanelWithTitle方法中会循环调用titleMatchesExpectedString,找到了就返回测试耗时,若超时(设定时间为10s)则返回WaitTimeoutException报错,当测试完20次后会进行下一项测试,待测试完成后会先统计20次的成功率,若20次的成功率低于0.9则会报如下错误
[FAILED] Success Rate Requirement Source: Katniss Normal Use ShowInformationTest-search-to-query, Minimum Success Rate: 90.000000%, Actual Success Rate: 0.000000%
,当各测试项的成功率皆满足要求时,再取每项的20次的搜索耗时的平均值,当都小于3.5s时测试通过,否则报耗时大于要求的3500而测试fail;

常见错误现象及分析

1.adb 未连接错误

06-15 16:29:10 E/DeviceMonitor: Adb connection Error:EOF
06-15 16:29:10 E/DeviceMonitor: Unable to open connection to: localhost/127.0.0.1:5037, due to: java.net.ConnectException: 拒绝连接
06-15 16:29:10 E/DeviceMonitor: Connection attempts: 1
06-15 16:29:10 E/TvtsBaseAssistantTest: Run 4/20 encountered exception. See logs for details
06-15 16:29:10 E/TvtsBaseAssistantTest: Could not find device 192.168.1.111:5555
06-15 16:29:13 W/NativeDevice: AdbCommandRejectedException (device '192.168.1.111:5555' not found) when attempting shell dumpsys package com.android.tradefed.utils.wifi on device 192.168.1.111:5555

分析及解决方法:
log中显示无法找到设备device, 检查pc与设备间的adb连接是否正常

2.网络未连接

06-15 16:58:16 E/TvtsBaseAssistantTest: Run 17/20 encountered exception. See logs for details
06-15 16:58:16 E/TvtsBaseAssistantTest: Device is not connected to network. Invalid metrics will be recorded.
06-15 17:00:39 I/TvtsBaseAssistantTest: -1.0               -1.0  

分析及解决方法:该测试需要网络,检查网络是否正常,一般都是用的外网

3.未找到指定界面出现超时异常

06-15 16:57:53 E/TvtsBaseAssistantTest: Error in sideloaded apk validation. Skipping metrics gathering.
06-15 16:57:53 I/TvtsBaseAssistantTest: -1.0               -1.0               
06-15 16:57:53 E/TvtsBaseAssistantTest: Run 16/20 encountered exception. See logs for details
06-15 16:57:53 E/TvtsBaseAssistantTest: OpenYouTubeTest failed: 
com.google.android.apps.tvsearch.systemhealth.OpenYouTubeTest:
Error in testOpenYouTube(com.google.android.apps.tvsearch.systemhealth.OpenYouTubeTest):
com.google.android.apps.gsa.testing.ui.support.retrymanager.WaitTimeoutException: Retry timed out with error: Action: App is open: com.google.android.youtube.tv. Expected return value: true. Unexpected return value: false.
    at com.google.android.apps.gsa.testing.ui.support.retrymanager.Wait.determineExceptionToBeThrown(Wait.java:456)
    at com.google.android.apps.gsa.testing.ui.support.retrymanager.Wait.get(Wait.java:337)
    at com.google.android.apps.gsa.testing.ui.support.retrymanager.Wait.untilTrue(Wait.java:348)
    at com.google.android.apps.gsa.testing.ui.testcase.OpaTvTestCase.awaitAppOpen(OpaTvTestCase.java:212)
    at com.google.android.apps.tvsearch.systemhealth.OpenYouTubeTest.testOpenYouTube(OpenYouTubeTest.java:14)
    at java.lang.reflect.Method.invoke(Native Method)

分析及解决方法:通过log可以看出是com.google.android.youtube.tv未成功启动,先查看测试时指定界面YouTube是否存在,若测试时正常启动了,再跟踪代码查找判断方法,若是查找控件中的内容,则借助AS查看YouTube界面上的指定控件是否存在,内容是否符合,若youtube界面上无指定控件或控件中内容不符,则切换语言或重启试试,若仍不行,考虑向google提case;当然不排除中间由于网络不稳定断网或者设备与pc间断开链接的影响,这种情况可以通过之后打印出的log很容易发现;

4.耗时超时

junit.framework.AssertionFailedError: search-to-query 4302.000000 is above maximum 3500.000000

分析及解决方法:这种可能比较麻烦,先尝试重启机器、保证网络良好的情况下重跑用例看是否通过,若不能通过,说明设备性能达不到要求,查看cpu占用率,通过裁剪掉一些非必要的apk、kill掉一些系统中非必要的常驻进程和提高cpu最高频率等方法来提高设备性能;

其他类型异常
主要根据log信息,查看报错原因,反编译测试用例,结合代码具体分析原因;

Android TV 谷歌语音 在Aosp AndroidTV上,只需要预制Katniss (:com.google.android.katniss)即可使用。注意3.0版本以后的katniss依赖GMS,若没有GMS,则无法使用。Android TV 上的谷歌语音助手是一个强大的工具,它允许用户通过语音命令来控制电视设备、搜索内容、管理智能家居设备等。通过充分利用 Android TV 上的谷歌语音助手功能,你可以更便捷地控制你的电视设备,获取所需的信息,并享受个性化的娱乐体验。 阅读详情

相关推荐

在Android项目上集成Google语音(不使用手机自带引擎)

需求: 最近需要在项目中需要集成各家的语音识别功能。包括讯飞,Alexa以及google的语音。前面两家的都有对应的api,集成到对应的项目中比较简单,这里只介绍如果集成Google的语音在项目上,像Google Assistant一样。因为google并没有公开的语音识别的api,网上许多文章上也有对google语音接口api的分析,但是现在都不好用了,不是限制了使用次数,就是要收费。这里先简...

aiai173ccc的博客 7397

语音按键不能调用谷歌语音助手问题分析

语音按键不能调用谷歌语音助手问题分析流程分析那为什么按下语音按键不启动谷歌语音助手? 当适配好语音遥控器之后,按下语音按键发送 KEYCODE_SEARCH 按键事件,如果安装了谷歌的套件以及谷歌的语音助手GoogleKatniss.apk,那么会调用谷歌的语音助手进行搜索,效果如下图。 但是遇到一个问题,就是按了语音按键之后,没有反应,不会弹出上面的界面。 流程分析 通过打印分析,按下语音按...

lojotee的博客 3946

Android TV CTS 测试认证汇总

CTS兼容性测试的主要目的和意义在于使得用户在Android系统的应用过程中,有更好的用户体验,并展现出Android系统的优越特性;使得Android应用程序编写者更容易编写高质量的应用程序;充分展现Android Market的优势,让获得CTS认证的终端得到Android Market的使用许可。

学无止境 9184

Android系统的VTS测试套件介绍

下图是最新的Android系统架构:Android系统基于Linux系统内核,应用层使用Jave或Kotlin语言编写,底层控制设备的是Linux内核,Linux系统采用C语言和汇编语言编写,所以控制设备的代码是C/C++语言。那么应用层软件如何控制设备呢?Linux会提供控制设备的C/C++接口,也就是so动态库(一种ELF文件)。然后应用软件的Java通过JNI(它允许Java代码和其他语言写的代码进行交互)调用so库,那么so库就会继续往下调用设备,这些设备包括Audio,Camera,BlueToo

jasonj333 4078

GoogleTV XTS测试之TVTS-环境配置篇

(1)随着TVTS Tool版本的更新,ubuntu系统的版本也需要更新(XTS的其它测试项如:Cts、Ctsgsi等无此要求),目前最新的是arm_android-tvts-2.8_r2,建议ubuntu版本为Ubuntu23.04(为了简化操作,个人使用的是桌面版);(4)设置Python3,要求更新到3.11,同时要将python_libs.zip压缩包下面的都复制到/usr/lib/python3/dist-packages目录下;检查nodejs版本,要求V18及其以上版本;

huangsh2007的专栏 1585

开源Android TV直播应用TvTest项目实战解析

TvTest是一款专为Android TV平台设计的开源数字电视测试工具,具备完整的DVB-T/S/C、ATSC等主流传输标准支持能力。其核心功能涵盖信号调谐、TS流解析、音视频解码与EPG展示,可广泛用于设备兼容性验证与广播协议研究。对于RTSP或HTTP Live Streaming以外的私有协议,可通过反射注入自定义源:try {需注意安全限制,某些厂商ROM可能禁用此类调用。

weixin_42611310的博客 1267

谷歌TV认证,谷歌TADA协议,谷歌TADA协议,谷歌GMS认证之安卓TV认证介绍

使用安卓系统的设备想正常的使用谷歌的各种应用程序,例如谷歌商店、谷歌地图、谷歌搜索、YouTube等等,就需要先做谷歌的GMS认证,而在做认证之前,需要有相关的协议才能向谷歌申请做认证,否则的话,是无法做认证的。所以安卓TV要做谷歌的认证, 首先要有TADA的协议,向谷歌申请做安卓TV的认证,谷歌批准了,就可以向谷歌申请产品过认证需要的各种文件,例如TV产品所需要的GTVS包。4. 预测试通过,提交3PL测试,3PL测试通过,提交报告给谷歌审批,全部大概3周左右。6. CTS-V(同第一个,需手动测试)

weixin_56040418的博客 2580

Android 9 ~ Android 14的谷歌语音助手(katniss)

Android TV 上的谷歌语音助手是一个强大的工具,它允许用户通过语音命令来控制电视设备、搜索内容、管理智能家居设备等。下面是一些关于在 Android TV 上使用谷歌语音助手的实战建议: 启用和设置: 确保你的 Android TV 设备已经连接到了互联网。 在设备的设置菜单中,找到并启用“谷歌语音助手”或“Google Assistant”功能。 根据需要,配置你的语言偏好和账户设置。 基本使用: 按下遥控器上的语音按钮(通常标记有麦克风图标),开始说出你的命令。 例如,你可以说“打开 Netflix”来启动 Netflix 应用,或者“播放《权力的游戏》”来搜索并播放这部剧集。 高级功能: 智能家居控制:如果你的家中有支持谷歌语音助手的智能家居设备,你可以通过 Android TV 控制它们。例如,你可以说“打开客厅的灯”来远程开启灯光。 日程和提醒:询问你的日程安排,或者设置提醒和闹钟。 查询信息:询问天气、新闻、股票信息等。 控制播放:在播放媒体时,你可以使用语音命令来控制播放,如“暂停”、“快进”或“调整音量”。

Google语音的使用

先占个坑

u011889786的专栏 1315

tvts:tưvấntuyểnsinh

电视 tưvấntuyểnsinh

dq轴坐标系下的电路方程

dq轴坐标系下的电路方程 dq轴坐标系是一种常见的电路方程,但是再dq轴坐标系下电路元件的电压电流dq轴存在一定的耦合,本文针对三相电路推导了dq轴坐标系下的电路电路方程进行一个推导,首先先列出来派克变换的公式 派克变换 [AdAqA0]=23[cos⁡(θ)cos⁡(θ−2π/3)cos⁡(θ+2π/3)−sin⁡(θ)−sin⁡(θ−2π/3)−sin⁡(θ+2π/3)1/21/21/2][AaAbAc]\left[\begin{array}{c}A_d\\A_q\\A_0 \end{array}\ri

Mr.Young的博客 1万+

那些问题们

应用进程通过内存映射申请 HIGHMEM,normal oom

tompig撒欢的地方 511

功率开关管驱动串扰(Crosstalk):深度解析与优化方案

介绍了功率开关器件驱动串扰产生机理,并整理了常见的工程应用优化措施

qq_38326420的博客 562

AndroidTV CTS/VTS/GTS/STS

AndroidTV出口海外市场需要google test认证,Google为AndroidTV开发商准备了一系列的测试套件,用于提高app/framework/hal的相容性,进一步提升开发者/用户体验。对于开发者来说就是需要测试-解决-测试相关module fail项,除了google waive项之外,其余的fail issue全都要解决:不管用什么的方式(不能修改原始套件)。 CTS:Co...

平凡之路 1万+

【异常】XXL-JOB提示异常ERROR com.xxl.job.core.util.XxlJobRemotingUtil - connect timed out

打开XXL-JOB的ELK,发现一堆报错。

奶爸的编程之路,也就一周冷个三天 2049

让 ABAP 开发者也能做出高质量 SAP Fiori:到底需要掌握多少前端知识?

文章摘要: 随着SAP技术演进,ABAP开发者的角色边界正在重构。传统SAP GUI时代的全栈开发模式逐渐转向RAP+Fiori Elements的新范式,其中关键技术变化包括: 开发模式转变:从前后端耦合转向RAP模型驱动开发,通过CDS注解实现UI意图表达 分工优化:Fiori Elements模板处理80%标准UI需求,Flexible Programming Model解决20%差异化需求 效率提升:注解驱动开发可在RAP建模阶段同步定义UI结构,大幅缩短交付周期 工具整合:SAP提供从建模到部署的

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 350

CTS 测试简介

一、简介... 3 1. CTS介绍... 3 2. GTS介绍... 3 3. CTS Verifier 介绍... 3 二、 测试流程-CTS环境的搭建... 3 1. PC:ubuntu 14.04以上系统... 3 2. CTS 环境... 3 3. 环境搭建... 4 三、测试流程-CTS 测试... ...

sunwei0130的专栏 3万+

使用Captum库对CIFAR数据集进行模型可解释性分析

为了训练模型,我们需要指定损失函数和优化技术。损失函数用于衡量模型的性能,在训练过程中,我们通过调整模型参数来最小化损失。本教程使用。

2501_90323865的博客 178

VTS测试介绍

背景介绍 Android目前有一个比较明显的缺点是设备升级到新版本系统所要花费的时间太长(比如Android6.0到Android7.0的升级)。一般的情况下在有Google发布新版本的AOSP  之后,还需要SoC(System on Chip的缩写,称为芯片级系统,也有称片上系统,意指它是一个产品,是一个有专用目标的集成电路,其中包含完整系统并有嵌入软件的全部内容。)产商对HAL(硬件抽象层是...

Shine_h的博客 2万+

IsaacSim环境配置之配置本地资产包

摘要:Isaac Sim官方资产文件默认从美国服务器下载速度慢,影响开发体验。建议下载本地资产包并配置本地资源源。具体步骤包括:1) 下载资产包并解压;2) 修改Isaac Sim安装路径下的配置文件,添加本地资产路径配置,包括机器人、人物、环境等各类资源目录。配置完成后可显著提升资产加载速度,改善开发效率。文中提供了详细的配置文件修改示例和截图说明。

拥抱具身智能,昇腾Ascend C 333

【Python_PySide6学习笔记(二十四)】菜单栏QMenuBar类的基本用法

此篇文章中介绍 PySide6 中 QMenuBar 类的基本用法,包括"创建菜单栏"、"创建一级菜单"、"创建二级菜单"等,会持续更新,有需要的读者可以点赞收藏,也欢迎在评论区进行讨论。

禾戊之昂的博客 1626

ATV 开发 二 、内置gtvs

内置Google TV Services(GTVS) Google TV Services(GTVS)是Google服务的集合,例如YouTube和Google Play,它们不属于Android平台或Android开源项目。根据Android TV许可协议,只有签约的谷歌合作伙伴的才可以合法使用。 将GTVS集成到SDK中: 从谷歌官网合作伙伴页面下载最新的GTVS软件包。 解压缩GTV...

capeng的专栏 4497

AIGC实战——变分自编码器(Variational Autoencoder, VAE)

变分自编码器通过在模型中引入随机性,并限制潜空间中的点的分布来解决自编码器存在的问题。只需进行一些微小的调整,就可以将自编码器转换为变分自编码器,从而使其成为真正的生成模型。在本节中,我们介绍了变分自编码器的基本原理,并使用 `Keras` 实现了一个变分自编码器用于生成 Fashion-MNIST 图像。

盼小辉丶的博客 1万+
上一篇: RecyclerView加上弧形滚动条
下一篇: APP冷启动
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值