视频质量测试方法标准（人工）

测试方法和判断标准

测试步骤

1. 单屏

视频会议场景：远端activevideo，右上角展开本地画面

共享场景：接收方辅流activevideo，右上角展开远端主流（接收）；发送方大窗口共享播放画面，右上角展开远端主流（接收）

1. 双屏

 

视频会议场景：主屏显示本地，副屏显示远端（反之也行）

共享场景：主屏显示共享播放画面，副屏显示远端主流画面（反之也行）

备注：

1. 共享场景：看接收端参数时需要把发送端播放的视频全屏、任务管理器和质量检测界面关闭
   2.更新视频质量测试人工部分的测试视频、PPT和文档（用于音画同步、清晰度和补充场景）----固定测试资源（找音视频测试获取）

3.质量测试还需要考虑硬件屏幕尺寸因素（屏幕大小对实际效果展示有差异，对桌面窗口进程也有一定的影响） 

测试场景

1. 视频会议场景：主流收发
2. 共享场景：主流收发、辅流收发（辅流清晰度使用文字内容，其余使用视频内容）

质量面板（动态）

1. 编解协议：H265、H264HP、H264BP、H263+、H263
2. 传输协议：SIP  H323
3. 分辨率:

3840*2160,1920*1080，1280*720，704*576，360P、XGA(1024*768),352*288（经过RMX还会出现864*480等等分辨率）

1. 带宽：8M、4M.......

1.上限超发：突发不能超过最大30%，正常平均在10%波动

2.辅流下限无最低值要求，主流不能低于目标分辨率的最低值（例如1080P不能在1M及以下，稳定在2M左右）

3.与三方MCU和终端，主流+辅流总带宽不能超过设置带宽或者MCU设置上限

1. 帧率：

误差在±3

清晰度（静态、动态）

清晰度不是很好可以描述的感官（主要通过对比来判断清晰度，同步借助自动化工具视频质量评分）

1. 测试步骤

主流/辅流

1. 测试方法（要有概念4K、1080P、720P等具体是什么样的效果）

1. 主流只能纯感官，对着有文字的物体
2. 辅流共享文字内存，主观感受清晰度

1. 参考对比

新旧版本对比：预期  新版本≥旧版本

①平台对比：对于新项目需要和同平台的已发布项目对比

②竞品对比：亿联、华为

③不同MCU对比

④不同分辨率对比：4K>1080P>XGA(1024*768)>720P>360P>4CIF>CIF

⑤不同编码协议对比:

H265@4K>H265@1080P>H264@1080P>H265@720P>H264@720P

1. 预期结果

硬编=软编视频质量效果   

静态

1.静态更新关注清晰度

动态

1.动态更多关注运动场景马赛克，模糊恢复过程等

1. 描述名词

超高清：人物轮廓清晰，五官清晰，主观感受画质清晰无损（效果比超清更清晰）---对应4K

超清：人物轮廓清晰，五官清晰，主观感受画质清晰无损---对应1080P

高清：人物轮廓清晰，五官有轻微马赛克，轻微锯齿---对应720P

清晰：人物轮廓较明显，五官较糊，有块状马赛克，锯齿---对应4CIF/360P

模糊：人物脸大糊，五官不明显，有大量马赛克---对应180P

流畅度（动态）

测试方法

1. 主流：
2. 辅流：播放固定视频源，观察接收端收到的画面

判断标准（卡顿、不连续、抖动、不流畅）

流畅：无明显卡顿，画面流畅

偶尔卡顿：间隔一段时间卡顿

明显卡顿：偶尔才动一下、卡住不动

实时性(动态)

测试方法：

1. 主流：PC电脑打开秒表https://naozhong.net.cn/（毫秒3位）。被测设备摄像头对准PC电脑的秒表。拿出手机相机画面（本地预览：PC画面和本地预览画面同时在拍照手机画面内；端到端：PC画面和远端画面同时在拍照手机画面内）拍照再计算差值，测试5次取平均值

1. 辅流：共享设备在本地系统浏览器打开秒表https://naozhong.net.cn/（毫秒3位）。共享。拿出手机相机画面（采集延时（HDMI）：输入源秒表画面和本地预览同时在拍照手机画面内；端到端：发送方画面和接收画面同时在拍照手机画面内）拍照再计算差值，测试5次取平均值

    备注：数据只能作为参考值（精确到3位数值ms）

测试标准：

1.人工感知无明显延时

无明显延时（400ms以内）

延时在400ms-1S

延时1-2S

延时超过2S

卡住不动

2.实测数据

本地预览延时在200ms以内

端到端整体延时在400ms以内

MCU整体延时在400ms以内

MCU级联整体延时在600-1000ms

    

音画同步（动态）

测试方法：

1. 同时说话和打手势

测试标准：

1.声音和手势、嘴型一致

缩放场景

缩放场景

1. 采集4K缩放成1080P、720P、4CIF、XGA等（还包括副屏接1080P屏）
2. 大窗口缩放小窗口（共享场景下右上角主流小窗口）
3. 1080P缩放成4K（副屏4K）

判断标准：

1. 无明显边缘锯齿，无线条细节缺失
2. 画面等比缩放，不会出现变形拉伸

其他异常现在：呼吸效应（画面间隔一定的时间从模糊变清晰）、花屏、方块效应、马赛克、绿屏

兼容性

1. 终端：自有、，三方
2. MCU：自有，三方
3. 新旧版本：新旧SDK、新旧MCU

1. 硬件兼容

②HDMI输入源分辨率：（4K、2.5K、1080P）

③HDMI输入源硬件接口兼容：

Compliant with HDMI2.0b, HDMI1.4 and DVI1.0
Compliant with HDCP2.2 and HDCP1.4

抗丢包

标准：

1.区分上下行，发送接收

3.20%丢包延时不能超过600ms

4.取消网损恢复速度在60S以内

首帧场景

1.首帧延时：预期无明显延时

2.首帧模糊：预期画面切换后无模糊过程

3.首帧卡顿：预期无明显感知

摄像头硬件

1. 摄像头卡顿
2. 摄像头清晰度：4K、1080P、720P、360P、4CIF、XGA（1024*768）、CIF
3. 采集：帧率30fps    延时：Win：150-190ms  安卓：69-110ms
4. 摄像头抖动
5. 色彩还原

补充场景

1. 用户场景

1. 极限场景

1.场景：系统播放器

2.场景：potplay播放4K正常使用

3.场景：potplay播放4K压力测试（复杂场景播放视频）

1. 煲机场景

1.场景：双屏视频+发起共享三方播放器播放（potplay）4K视频煲机测试

2.场景：双屏视频+发起共享+投屏播放4K视频煲机测试

3.场景：弱网30%丢包频煲机测试

4.场景：视频会议

5.晚上或者周末煲机后：质量面板数据、音画同步、延时、内存泄露等

6.晚上或者周末煲机后：质量面板数据、音画同步、延时、内存泄露等

备注：需要观察煲机前后视频质量，质量面板数据、音画同步、延时对比，以及内存泄露

1. 压测场景

    补充简单场景：1.压测开关摄像头    2.压测开关共享

    预期结果：无内存泄露、崩溃等异常

1. 性能场景

    业务测试（与业务测试对齐范围，保证有被覆盖）系统总占用GPU不超过80%