[Paper Reading]Towards a New Generation of Cognitive Diagnosis

本文对认知诊断领域进行了大体的介绍，以及介绍了其中的一些具有代表性的模型。

认知诊断基于以下两个基本假设：

• 完成任务时，观察到用户对于此任务的表现（正确/错误回答问题）取决于他们潜在的认知水平(技能的熟练度等)
• 一个用户的认知水平在短时间内保持稳定，因此可以被识别出。

认知诊断过程的一个例子如下图所示，从用户的回答情况判断出用户技能的雷达图：

其课题组的贡献主要在于：

• 提出了神经认知诊断框架(Neural Cognitive Diagnosis,Neural-CD)，利用神经网络从数据中学习到用户-任务的交互信息。此模型可以包括Item Response Theory(IRT)和Multidimensional IRT(MIRT)
• 在此基础上考虑了技能之间的依赖关系、用户的内容相关的feature、数据隐私等等问题。

NeuralCDM整体结构如下图：

 论文的详细解读可以参考本文

此外对于CDM的拓展包括以下方面：

• Relation map-driven CDMs: 利用了概念<->概念，概念<->任务，任务<->用户共三层的关系图，考虑到层之间和层内的影响关系，进一步提高了现有CDM的表现
• Context-aware CDMs: 利用了用户的学校、地区等信息进行建模，进一步提高模型表现。
• Item response ranking for CDMs：认知诊断基于单调性假设，及回答正确的概率随用户的技能掌握程度单调变化。但是当前CDMs的优化过程没有充分考虑这一点，所以提出了pairwise的object function以优化模型。(个人认为类似于BPR？)
• Privacy-preserving CDMS：aggregated data和centralized training会带来隐私泄露的风险，使用Federated Learning(联邦学习)是一种可能的解决方案。

具体的模型可以见相关论文或博客

认知诊断的应用场景：

• 推荐系统：目标是基于用户偏好以及用户对于技能的掌握程度为用户match合适的任务。
• Adaptive Learning：为用户提供个性化的学习路径，且路径根据用户的能力以及偏好动态变化。
• Computerized adaptive testing(CAT)：为用户提供个性化的测试流程，以快速掌握用户对于不同知识点的掌握程度。