学生模型评估中方法选择的影响
在学生模型评估中,方法选择会对评估结果产生显著影响。下面将详细介绍相关的学生模型、评估方法、指标选择以及数据处理等方面的内容。
1. 学生模型
在所有实验中,用于预测解题时间的学生模型有以下几种:
1. 项目平均(I - Avg) :预测给定项目平均对数时间的基线模型。
2. 学生 - 项目平均(SI - Avg) :通过对学生技能的简单估计来调整项目平均时间的模型。技能计算为观察到的对数时间与项目平均对数时间的平均偏差,并添加五个零偏差的伪观测值进行正则化,以避免过拟合。
3. t - IRT :适用于解题时间的单参数项目反应理论模型。它与 SI - Avg 有相同的参数集,但使用正则化线性最小二乘回归来优化参数以最小化均方根误差(RMSE),技能在在线评估阶段的估计方式与 SI - Avg 相同。
4. t - AFM :适用于解题时间的加法因子模型。Q 矩阵由每个练习的级别构建,对标准 AFM 进行了三项修改以获得合理性能,包括为每个项目设置难度参数、对练习机会计数进行对数变换(仅考虑已解决的尝试),以及使用与 SI - Avg 和 t - IRT 相同的正则化平均偏差进行先验技能的在线估计。
5. Elo :基于 Elo 评级系统的模型,跟踪每个学生的单一技能和每个项目的单一难度。每次观察尝试后,技能和难度根据预测误差按比例更新。与 SI - Avg 和 t - IRT 不同,它假设学生技能会变化,而项目难度随时间不变。