8、利用自然语言处理评估新创建问题及检测学生离题行为

利用自然语言处理评估新创建问题及检测学生离题行为

1. 文本属性预测框架 text2props

1.1 样本模型

要使用 text2props 实现一个模型，只需定义三个模块。在实验使用的样本模型中：
- 校准模块：估计每个问题的项目反应理论（IRT）难度和区分度，这两个潜在特征在训练从文本进行估计的模型部分时作为真实值。
- 回归模块：包含两个随机森林（Random Forests）来估计难度和区分度。
- 特征工程模块：由三个组件组成：
- 可读性特征：如 Flesch 阅读简易度、Flesch - Kincaid 年级水平、自动可读性指数、Gunning FOG 指数、Coleman - Liau 指数和 SMOG 指数，这些指数通过如单词数量和平均单词长度等指标的确定性公式计算。
- 语言特征：包括问题的单词计数、正确选项的单词计数、错误选项的单词计数、问题的句子计数、正确选项的句子计数、错误选项的句子计数、问题的平均单词长度、问题长度除以正确选项长度、问题长度除以错误选项长度。
- 信息检索（IR）特征：对文本进行自然语言处理（NLP）的标准预处理步骤，将问题文本和可能选项的文本连接起来，使用基于词频 - 逆文档频率（TF - IDF）的特征。定义两个通过交叉验证调整的阈值，去除语料库特定的停用词（频率高于 SUP）和非常罕见的词（频率低于 INF）。

1.2 实验数据集

使用来自电子学习提供商 CloudAcademy 的私有数据集进行评估。
- 数据集 Q：包含约 11K 道多项选择题，每题有 4 个可能答案，部分问题有多个正确答案。
- 数据集 A：包含约