6、利用日志流数据和项目反应理论理解技能发展

利用日志流数据和项目反应理论理解技能发展

在当今教育领域，准确评估和理解学习者的技能发展至关重要。尤其是对于像协作这样的21世纪复杂技能，需要创新的方法来进行测量和分析。本文将介绍如何利用日志流数据和项目反应理论来深入理解学习者的技能发展。

1. Wright地图的作用

检查评估项目是否覆盖学习者能力范围是很重要的，这可以通过检查Wright地图来实现。Wright地图将项目和学习者的估计值放在一个单一的量表上，使用对数单位（logits）作为缩放单位。它以递增的复杂度顺序呈现项目与学习者能力的关系，可以看作是两个垂直的直方图，也被称为变量地图，用于展示项目的分布。

例如，在一次协作评估中，Wright地图的左侧显示学习者能力的分布，范围从 -2.26 到 1.78；右侧显示项目难度的分布，范围从 -2.20 到 2.83。项目 32、38 和 50 在地图的顶部，表明它们是最难的项目，超出了学习者能力估计的分布范围，说明这些项目对学习者来说太难了。而项目 11、12、19 和 40 在地图的底部，是最简单的项目。学习者能力分布比这些项目更低，很难区分处于极低水平的学习者，但这类学习者数量很少。

为了解释这个量表，将项目参数进行约束，平均项目难度设为零。学习者能力的平均估计值为 -0.055，表明平均而言，学习者的能力水平低于整体评估难度，但差异很小。学习者能力估计的方差为 0.71，项目难度的方差为 1.26。较低的平均学习者能力和较低的学习者能力估计方差表明，整体测试对学习者来说略有难度。考虑到学习者在进行评估之前没有此类问题或评估性质的经验，这是可以预期的。总体而言，项目相对于学习者能力估计分布良好，表明评估目标较为合理。