测试方法和判断标准
测试步骤
- 单屏
视频会议场景:远端activevideo,右上角展开本地画面
共享场景:接收方辅流activevideo,右上角展开远端主流(接收);发送方大窗口共享播放画面,右上角展开远端主流(接收)
- 双屏
视频会议场景:主屏显示本地,副屏显示远端(反之也行)
共享场景:主屏显示共享播放画面,副屏显示远端主流画面(反之也行)
备注:
- 共享场景:看接收端参数时需要把发送端播放的视频全屏、任务管理器和质量检测界面关闭
2.更新视频质量测试人工部分的测试视频、PPT和文档(用于音画同步、清晰度和补充场景)----固定测试资源(找音视频测试获取)
3.质量测试还需要考虑硬件屏幕尺寸因素(屏幕大小对实际效果展示有差异,对桌面窗口进程也有一定的影响)
测试场景
- 视频会议场景:主流收发
- 共享场景:主流收发、辅流收发(辅流清晰度使用文字内容,其余使用视频内容)
质量面板(动态)
- 编解协议:H265、H264HP、H264BP、H263+、H263
- 传输协议:SIP H323
- 分辨率:
3840*2160,1920*1080,1280*720,704*576,360P、XGA(1024*768),352*288(经过RMX还会出现864*480等等分辨率)
- 带宽:8M、4M.......
1.上限超发:突发不能超过最大30%,正常平均在10%波动
2.辅流下限无最低值要求,主流不能低于目标分辨率的最低值(例如1080P不能在1M及以下,稳定在2M左右)
3.与三方MCU和终端,主流+辅流总带宽不能超过设置带宽或者MCU设置上限
- 帧率:
误差在±3
清晰度(静态、动态)
清晰度不是很好可以描述的感官(主要通过对比来判断清晰度,同步借助自动化工具视频质量评分)
- 测试步骤
主流/辅流
- 测试方法(要有概念4K、1080P、720P等具体是什么样的效果)
- 主流只能纯感官,对着有文字的物体
- 辅流共享文字内存,主观感受清晰度
- 参考对比
新旧版本对比:预期 新版本≥旧版本
①平台对比:对于新项目需要和同平台的已发布项目对比
②竞品对比:亿联、华为
③不同MCU对比
④不同分辨率对比:4K>1080P>XGA(1024*768)>720P>360P>4CIF>CIF
⑤不同编码协议对比:
H265@4K>H265@1080P>H264@1080P>H265@720P>H264@720P
- 预期结果
硬编=软编视频质量效果
静态
1.静态更新关注清晰度
动态
1.动态更多关注运动场景马赛克,模糊恢复过程等
- 描述名词
超高清:人物轮廓清晰,五官清晰,主观感受画质清晰无损(效果比超清更清晰)---对应4K
超清:人物轮廓清晰,五官清晰,主观感受画质清晰无损---对应1080P
高清:人物轮廓清晰,五官有轻微马赛克,轻微锯齿---对应720P
清晰:人物轮廓较明显,五官较糊,有块状马赛克,锯齿---对应4CIF/360P
模糊:人物脸大糊,五官不明显,有大量马赛克---对应180P
流畅度(动态)
测试方法
- 主流:
- 辅流:播放固定视频源,观察接收端收到的画面
判断标准(卡顿、不连续、抖动、不流畅)
流畅:无明显卡顿,画面流畅
偶尔卡顿:间隔一段时间卡顿
明显卡顿:偶尔才动一下、卡住不动
实时性(动态)
测试方法:
- 主流:PC电脑打开秒表https://naozhong.net.cn/(毫秒3位)。被测设备摄像头对准PC电脑的秒表。拿出手机相机画面(本地预览:PC画面和本地预览画面同时在拍照手机画面内;端到端:PC画面和远端画面同时在拍照手机画面内)拍照再计算差值,测试5次取平均值
- 辅流:共享设备在本地系统浏览器打开秒表https://naozhong.net.cn/(毫秒3位)。共享。拿出手机相机画面(采集延时(HDMI):输入源秒表画面和本地预览同时在拍照手机画面内;端到端:发送方画面和接收画面同时在拍照手机画面内)拍照再计算差值,测试5次取平均值
备注:数据只能作为参考值(精确到3位数值ms)
测试标准:
1.人工感知无明显延时
无明显延时(400ms以内)
延时在400ms-1S
延时1-2S
延时超过2S
卡住不动
2.实测数据
本地预览延时在200ms以内
端到端整体延时在400ms以内
MCU整体延时在400ms以内
MCU级联整体延时在600-1000ms
音画同步(动态)
测试方法:
- 同时说话和打手势
测试标准:
1.声音和手势、嘴型一致
缩放场景
缩放场景
- 采集4K缩放成1080P、720P、4CIF、XGA等(还包括副屏接1080P屏)
- 大窗口缩放小窗口(共享场景下右上角主流小窗口)
- 1080P缩放成4K(副屏4K)
判断标准:
- 无明显边缘锯齿,无线条细节缺失
- 画面等比缩放,不会出现变形拉伸
其他异常现在:呼吸效应(画面间隔一定的时间从模糊变清晰)、花屏、方块效应、马赛克、绿屏
兼容性
- 终端:自有、,三方
- MCU:自有,三方
- 新旧版本:新旧SDK、新旧MCU
- 硬件兼容
②HDMI输入源分辨率:(4K、2.5K、1080P)
③HDMI输入源硬件接口兼容:
Compliant with HDMI2.0b, HDMI1.4 and DVI1.0
Compliant with HDCP2.2 and HDCP1.4
抗丢包
标准:
1.区分上下行,发送接收
3.20%丢包延时不能超过600ms
4.取消网损恢复速度在60S以内
首帧场景
1.首帧延时:预期无明显延时
2.首帧模糊:预期画面切换后无模糊过程
3.首帧卡顿:预期无明显感知
摄像头硬件
- 摄像头卡顿
- 摄像头清晰度:4K、1080P、720P、360P、4CIF、XGA(1024*768)、CIF
- 采集:帧率30fps 延时:Win:150-190ms 安卓:69-110ms
- 摄像头抖动
- 色彩还原
补充场景
- 用户场景
- 极限场景
1.场景:系统播放器
2.场景:potplay播放4K正常使用
3.场景:potplay播放4K压力测试(复杂场景播放视频)
- 煲机场景
1.场景:双屏视频+发起共享三方播放器播放(potplay)4K视频煲机测试
2.场景:双屏视频+发起共享+投屏播放4K视频煲机测试
3.场景:弱网30%丢包频煲机测试
4.场景:视频会议
5.晚上或者周末煲机后:质量面板数据、音画同步、延时、内存泄露等
6.晚上或者周末煲机后:质量面板数据、音画同步、延时、内存泄露等
备注:需要观察煲机前后视频质量,质量面板数据、音画同步、延时对比,以及内存泄露
- 压测场景
补充简单场景:1.压测开关摄像头 2.压测开关共享
预期结果:无内存泄露、崩溃等异常
- 性能场景
业务测试(与业务测试对齐范围,保证有被覆盖)系统总占用GPU不超过80%