18、阈值运算符可解释性评估

阈值运算符可解释性评估

1. 研究方法

1.1 实验材料

为研究阈值运算符的可解释性，采用了通过析取范式（DNF）公式（三种变体）和 Tooth 运算符定义的概念示例。构建了 6 个不同复杂度的概念定义，其符号数量和长度各异。针对每个概念，分别构建了四种格式的公式，即 DNF1、DNF2、DNF3 和 Tooth 表达式，共得到 24 个不同的概念定义。准备了两份问卷，一份针对 DNF 公式，另一份针对 Tooth 表达式。在用户研究中，每位参与者会看到 12 个对应概念定义的公式，即分别在不同时段随机顺序完成两份问卷，且每个参与者看到的概念定义都是随机排列的。

1.2 实验流程

实验借助在线问卷，让参与者使用逻辑公式完成特定任务，问卷在教室等受控环境中进行。问卷分为介绍阶段和实验阶段：
- 介绍阶段 ：向参与者简要介绍 DNF 公式或 Tooth 运算符及其语义确定方式，两种介绍的时长相同，幻灯片数量和示例也相同。
- 实验阶段 ：分为分类和检查两个任务，每个任务开始时都有说明页介绍任务内容。
- 分类任务 ：要求参与者判断某个文字组合是否为给定公式的实例。例如，对于公式 C1 := (¬A⊓C)⊔B，若实例 i 为 ¬A, B, ¬C，则 i 是 C1 的实例。
- 检查任务 ：参与者需判断某个特定陈述的真值，即判断实例的某些给定条件是否为该实例属于给定类别的必要条件。例如，对于公式 C1 := (¬A ⊓C) ⊔B，拥有 B 是被分类为 C1 的必要条件。