Dynamic Key-Value Memory Networks for knowledge Tracing

Dynamic Key-Value Memory Networks for knowledge Tracing

Memory-Augmented Neural Networks

$\text{MANN}$是一种用于多种NLP任务的网络结构，例如问答系统，自然语言翻译、单样本学习。

典型的模型包括两部分：存储信息的记忆矩阵和和外界进行读写交换的控制器。读写操作通过$\text{attention}$机制来实现。大多数之前的论文中使用相似的方法来计算读操作的权重。对于一个输入$k_t$，对每一个内存槽$M_t(i)$计算余弦相似度或者內积$K[k_t,M_t(i)]$，之后经过$\text{Softmax}$层和一个正值的加强${\beta }_t$，从而得到读权重$w_t^r:w_t^r(i)=\text{Softmax}({\beta }_{t}K[k_t],M_t(i))$，其中$\text{Softmax}=\frac{e^{z_i}}{{\sum }_j{e}^{z_j}}$。对于写过程，注意力机制用于管理记忆的内容和位置。此外一种单纯的、基于内容的写入器在$[1]$中被提出，称为$\text{least recently used access (LRUA) module}$，它会向最近使用过的记忆槽或者最近最多使用的记忆槽写入。

由于循环写入或者写出的原因，$\text{MANN}$可以看做一种特殊的$\text{RNN}$。然而$\text{MANN}$和普通的卷积$\text{RNNs}$不同。在于以下几点：

1. 传统的$\text{RNN}$模型使用单一的隐藏状态向量临时信息编码，而$\text{MANN}$使用额外的记忆矩阵，使得其能够存储更多的信息。
2. 传统$\text{RNN}$状态之前的转换是非结构化并且全局化的，而$\text{MANN}$的读写操作可以实现局部状态的改变。
3. 传统$\text{RNN}$参数数目依赖于隐层状态的大小，而$\text{MANN}$可以通过增加记忆插槽来增加参数数量，结果是影响计算的效率。

Memory-Augmented Neural Network for Knowledge Tracing

为了解决$\text{Knowledge Tracing}$的问题，$\text{MANN}$中的记忆矩阵被看做学生的对各个知识点的掌握状态。记忆$M_t$是一个$N\times M$的矩阵，$N$表示记忆的位置（插槽$\text{id}$），而$M$表示每一个位置的向量维度。对于一个时间步$t$，输入进$\text{MANN}$的是联结嵌入向量$v_t=(q_t,r_t)$，其中 q t q_t qt</