69、基于众包的 IDMS 用户研究及异步性阈值评估

基于众包的 IDMS 用户研究及异步性阈值评估

1. 研究背景与目标

评估异步性对体验质量（QoE）的影响是一项具有挑战性的任务，尤其是在实验室主观评估中。为解决这一问题，我们引入并探讨了一种利用众包进行 IDMS 主观质量评估的方法，该方法基于有目的游戏（GWAP）的概念。研究的核心问题是确定 IDMS 的异步性下限阈值。

2. 评估方法与游戏设计

• 反应游戏设计 ：为进行主观质量评估（SQA），设计了一款遵循 GWAP 原则的反应游戏。游戏中，两名玩家需协作以获得最高分。游戏引入了限时事件，玩家需在事件发生时点击显示视频序列的画布。
  • 若两名玩家的多媒体播放同步，获得额外奖励分数的时间窗口等于事件的总持续时间。
  • 随着异步性增加，奖励分数的时间窗口减小，增加了游戏难度，类似于在线问答节目。
  • 若玩家点击过早或过晚，但仍在事件时间窗口内，可获得 100 分；若两名玩家都在奖励窗口内点击，则获得双倍分数。
  • 游戏会为获得奖励分数、普通分数以及未在时间窗口内反应提供视觉反馈；若玩家错过事件或在无事件时点击，将给予惩罚分数。
• AI 玩家模拟 ：为避免在线配对玩家带来的等待时间，引入 AI 作为第二名玩家。通过邀请学生在实验室进行 SQA 并收集统计数据，模拟真实玩家的行为。
• 多媒体内容选择 ：为了能够使用反应游戏评估 IDMS，我们选择了视频游戏中的非暴力游戏场景，包括《in