视频质量测试方法标准(人工)

测试方法和判断标准
测试步骤
  1. 单屏

视频会议场景:远端activevideo,右上角展开本地画面

共享场景:接收方辅流activevideo,右上角展开远端主流(接收);发送方大窗口共享播放画面,右上角展开远端主流(接收)

  1. 双屏

 

视频会议场景:主屏显示本地,副屏显示远端(反之也行)

共享场景:主屏显示共享播放画面,副屏显示远端主流画面(反之也行)

备注:

  1. 共享场景:看接收端参数时需要把发送端播放的视频全屏、任务管理器和质量检测界面关闭
    2.更新视频质量测试人工部分的测试视频、PPT和文档(用于音画同步、清晰度和补充场景)----固定测试资源(找音视频测试获取)

3.质量测试还需要考虑硬件屏幕尺寸因素(屏幕大小对实际效果展示有差异,对桌面窗口进程也有一定的影响) 

测试场景
  1. 视频会议场景:主流收发
  2. 共享场景:主流收发、辅流收发(辅流清晰度使用文字内容,其余使用视频内容)
质量面板(动态
  1. 编解协议:H265、H264HP、H264BP、H263+、H263
  2. 传输协议:SIP  H323
  3. 分辨率:

3840*2160,1920*10801280*720,704*576,360P、XGA(1024*768),352*288(经过RMX还会出现864*480等分辨率)

  1. 带宽:8M、4M.......

1.上限超发:突发不能超过最大30%,正常平均在10%波动

2.辅流下限无最低值要求,主流不能低于目标分辨率的最低值(例如1080P不能在1M及以下,稳定在2M左右)

3.与三方MCU和终端,主流+辅流总带宽不能超过设置带宽或者MCU设置上限

  1. 帧率:

误差在±3

清晰度(静态、动态)

清晰度不是很好可以描述的感官(主要通过对比来判断清晰度,同步借助自动化工具视频质量评分)

  1. 测试步骤

主流/辅流

  1. 测试方法(要有概念4K、1080P、720P等具体是什么样的效果)
  1. 主流只能纯感官,对着有文字的物体
  2. 辅流共享文字内存,主观感受清晰度

  1. 参考对比

新旧版本对比:预期  新版本≥旧版本

①平台对比:对于新项目需要和同平台的已发布项目对比

竞品对比:亿联、华为

不同MCU对比

不同分辨率对比:4K>1080P>XGA(1024*768)>720P>360P>4CIF>CIF

⑤不同编码协议对比:

H265@4K>H265@1080P>H264@1080P>H265@720P>H264@720P

  1. 预期结果

硬编=软编视频质量效果   

静态

1.静态更新关注清晰度

动态

1.动态更多关注运动场景马赛克,模糊恢复过程等

  1. 描述名词

超高清:人物轮廓清晰,五官清晰,主观感受画质清晰无损(效果比超清更清晰)---对应4K

超清:人物轮廓清晰,五官清晰,主观感受画质清晰无损---对应1080P

高清:人物轮廓清晰,五官有轻微马赛克,轻微锯齿---对应720P

清晰:人物轮廓较明显,五官较糊,有块状马赛克,锯齿---对应4CIF/360P

模糊:人物脸大糊,五官不明显,有大量马赛克---对应180P

流畅度(动态)

测试方法

  1. 主流:
  2. 辅流:播放固定视频源,观察接收端收到的画面

判断标准(卡顿、不连续、抖动、不流畅)

流畅:无明显卡顿,画面流畅

偶尔卡顿:间隔一段时间卡顿

明显卡顿:偶尔才动一下、卡住不动

实时性(动态)

测试方法:

  1. 主流:PC电脑打开秒表https://naozhong.net.cn/(毫秒3位)。被测设备摄像头对准PC电脑的秒表。拿出手机相机画面(本地预览:PC画面和本地预览画面同时拍照手机画面内;端到端:PC画面和远端画面同时在拍照手机画面内)拍照再计算差值,测试5次取平均值

  1. 辅流:共享设备在本地系统浏览器打开秒表https://naozhong.net.cn/(毫秒3位)。共享。拿出手机相机画面(采集延时(HDMI):输入源秒表画面和本地预览同时在拍照手机画面内;端到端:发送方画面和接收画面同时在拍照手机画面内)拍照再计算差值,测试5次取平均值

    备注:数据只能作为参考值(精确到3位数值ms)

测试标准:

1.人工感知无明显延时

无明显延时(400ms以内)

延时在400ms-1S

延时1-2S

延时超过2S

卡住不动

2.实测数据

本地预览延时在200ms以内

端到端整体延时在400ms以内

MCU整体延时在400ms以内

MCU级联整体延时在600-1000ms

    

音画同步(动态)

测试方法:

  1. 同时说话和打手势

测试标准:

1.声音和手势、嘴型一致

缩放场景

缩放场景

  1. 采集4K缩放成1080P、720P、4CIF、XGA等(还包括副屏接1080P屏)
  2. 大窗口缩放小窗口(共享场景下右上角主流小窗口)
  3. 1080P缩放成4K(副屏4K)

判断标准:

  1. 无明显边缘锯齿,无线条细节缺失
  2. 画面等比缩放,不会出现变形拉伸

其他异常现在:呼吸效应(画面间隔一定的时间从模糊变清晰)、花屏、方块效应、马赛克、绿屏

兼容性
  1. 终端:自有、,三方
  2. MCU:自有,三方
  3. 新旧版本:新旧SDK、新旧MCU
  1. 硬件兼容

②HDMI输入源分辨率:(4K、2.5K、1080P)

③HDMI输入源硬件接口兼容:

Compliant with HDMI2.0b, HDMI1.4 and DVI1.0
Compliant with HDCP2.2 and HDCP1.4

抗丢包

标准:

1.区分上下行,发送接收

3.20%丢包延时不能超过600ms

4.取消网损恢复速度在60S以内

首帧场景

1.首帧延时:预期无明显延时

2.首帧模糊:预期画面切换后无模糊过程

3.首帧卡顿:预期无明显感知

摄像头硬件
  1. 摄像头卡顿
  2. 摄像头清晰度:4K、1080P、720P、360P、4CIF、XGA(1024*768)、CIF
  3. 采集:帧率30fps    延时:Win:150-190ms  安卓:69-110ms
  4. 摄像头抖动
  5. 色彩还原
补充场景
  1. 用户场景

  1. 极限场景

1.场景:系统播放器

2.场景:potplay播放4K正常使用

3.场景:potplay播放4K压力测试(复杂场景播放视频)

  1. 煲机场景

1.场景:双屏视频+发起共享三方播放器播放(potplay)4K视频煲机测试

2.场景:双屏视频+发起共享+投屏播放4K视频煲机测试

3.场景:弱网30%丢包频煲机测试

4.场景:视频会议

5.晚上或者周末煲机后:质量面板数据、音画同步、延时、内存泄露等

6.晚上或者周末煲机后:质量面板数据、音画同步、延时、内存泄露等

备注:需要观察煲机前后视频质量,质量面板数据、音画同步、延时对比,以及内存泄露

  1. 压测场景

    补充简单场景:1.压测开关摄像头    2.压测开关共享

    预期结果:无内存泄露、崩溃等异常

  1. 性能场景

    业务测试(与业务测试对齐范围,保证有被覆盖)系统总占用GPU不超过80%

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值