15、会议浏览器客观测试：BET方法与TQB接口评估

会议浏览器客观测试：BET方法与TQB接口评估

1. BET问题观测收集

BET（Binary Evaluation Test）问题源自一组观察者使用专用界面所产生的感兴趣的观测内容。观察者可以查看他们所处理的每个会议的所有媒体源的完整记录，包括音频、视频和幻灯片。虽然没有时间限制，但要求观察者提供最少数量的观测，例如，一场50分钟的会议需要提供50条观测。

观察者需针对会议参与者似乎认为有趣的事实或事件进行观测。这种指导有意保持宽泛，以免影响观察者进行特定类型的观测。尽管有些对参与者而言看似不重要的事实，可能对外部观察者很重要，但通过从BET产生的观测列表中选择不同子集，可以满足广泛的评估目标。

具体操作步骤如下：
1. 观察者创建一个观测列表，BET观察者界面会自动为这些观测加上媒体时间戳。
2. 观察者要估计每个观测的“局部性”，即该观测是适用于当前媒体时间附近，还是适用于整个会议。
3. 观测内容应难以在不查看记录的情况下猜测，并且表述要简单明了。
4. 完成列表后，观察者需对观测的重要性进行评分（采用五分制），并为每个观测创建一个虚假版本。最终每个观测会形成一对互补的陈述，一真一假，用于后续测试时呈现给受试者。

2. 观测的验证、编辑、分组和排序

收集到的观测对（一真一假陈述）会由BET实验人员和浏览器设计人员进行讨论。有些观测可能会因以下原因被拒绝：
1. 在会议的某个时刻为真，但在另一个时刻为假的陈述。
2. 由于严重的语法或排版错误，或者表述不清，导致以英语为母语的人难以理解的陈述。
3. 太容易猜测的陈述。
4. 真假陈述不够平行，或者不是