77、探索用于教学辅助的自动问答方法

探索用于教学辅助的自动问答方法

1. 系统在事实性问题上的应用

系统不仅可处理后勤问题，还被应用于 PhysicsForum 数据集中标记为事实性的 18 个问题。在这些问题上，文档检索系统的 Top - 1、Top - 3 和 Top - 5 准确率分别为 44.4%、88.9% 和 88.9%。这表明系统可能适用于后勤问题以外的领域。

2. 帖子发布时间预测

2.1 实验设置

• 数据集 ：考虑 PhysicsForum 数据集中的所有线程。
• 基础模型 ：使用循环神经网络（RNNs）作为基础模型。
• 方法变体 ：
  • 离散时间箱数量 $k$ 取值为 4 或 8。
  • 使用两种不同的损失函数：交叉熵损失（C）和有序铰链损失（O）。
  • 添加两个输入特征（A），这些特征来自可回答性分类器。一个是所有可用文档中对主要问题给出满意答案的最大预测概率，另一个是仅在该线程之前的回答帖子中给出满意答案的最大预测概率。
• 时间箱划分 ：选择箱边界，使 EOT 帖子构成自己的箱，其余帖子均匀分配到其他 $k - 1$ 个箱中。
• 训练与评估 ：在 522 个随机采样的线程子集上训练 RNN，并在其余 141 个保留线程上进行评估。使用时间箱预测准确率（ACC）和一个箱内准确率（A