10、项目到项目技能模型的性能比较

项目到项目技能模型的性能比较

1. 数据集概述

研究使用了四个数据集，这些数据集涵盖了从基础到高级的主题，且受访者具有广泛的专业知识。这种项目难度和受访者专业知识的分布有助于实现强大的分类性能。所有数据集均由二元成功/失败数据组成，缺失值很少，在0%到5%之间，这些缺失值被重新编码为失败答案。

以下是四个数据集的相关统计信息：
| 统计指标 | Coll. math | Frac. algebra | LSAT | UNIX |
| — | — | — | — | — |
| 项目数量 | 60 | 20 | 5 | 34 |
| 受访者数量 | 246 | 149 | 1000 | 48 |
| 训练集大小 | 171 | 100 | 900 | 38 |
| 测试集大小 | 75 | 49 | 100 | 10 |
| 平均受访者得分 | 0.60 | 0.61 | 0.76 | 0.53 |
| 得分标准差 | 0.15 | 0.25 | 0.21 | 0.29 |
| 折数 | 10 | 10 | 10 | 20 |
| 特征数量 | 5 | 5 | 4 | 5 |
| 特征间平均相关性 | 0.17 | 0.47 | 0.08 | 0.62 |

从这些数据可以看出，不同数据集之间存在很大差异。例如，LSAT数据集虽然项目数量少，但受访者数量多；而UNIX数据集项目数量较多，但受访者数量较少，因此在训练和测试集的划分上有所不同，并且增加了折数以获得更可靠的模拟结果。特征间的相关性也有很大差异，从LSAT的0.08到UNIX的0.62不等。这些差异可能在一定程度上解