ronghwa_lu

作为目前较真实且auc较高的的知识追踪模型，来看看它的代码结构，方便你我去实现和修改。原理、创新点请看论文，本文只作代码分析：目的AKT在assistment15（0.782）数据上比DKT（0.731）要高很多，同样只使用技能信息的情况下：我的任务就是看为什么auc高这么多，文章没有具体消融试验，但可以从一部分看出对技能和交互先encoder一次，在assist15得到5%的提升使用了衰减机制，在assist15得到5%的提升。问题出现了，究竟是encoder起的作用，还是衰减机制起的作用

pytorch 中layernorm 的使用首先给出官网的解释，torch.nn.LayerNorm( normalized_shape: Union[int, List[int], torch.Size], eps: float = 1e-05, elementwise_affine: bool = True)其中注意：LayerNorm中不会像BatchNorm那样跟踪统计全局的均值方差，因此train()和eval()对LayerNorm没有影

NeurIPS 2020 Education Challenge具体比赛任务两个都包含数据集的处理 和 评估脚本数据集的介绍，论文

main1.py文件tf.no_op()

调研目的：如何使用第三方库快速对数据进行预训练，得到embedding 知乎一： 请问如何用nlp预训练模型做word embedding ，如bert怎么提取出embedding?作者（香港大学）马东什么：  不同预训练模型的embedding机制不一样，word2vec glove fasttext 都是直接查词得到embedding，bert 直接取最后一层的输出，elmo更灵活了 可以取embedding和lstm层的输出的平均 concat或者顶层lstm的输出。提取出embedding之后

复现的作者代码，使用TensorFlow0.12.1，cpu运行太慢了，19分钟一个epoch。然后想用gpu，在google colab上使用TensorFlow1.15.2 gpu，40秒一个epoch。看源码应该用了不止一天，虽然代码不长，就跟最基础的神经风格迁移代码长度差不多，which我只用了一个上午。1）使用原始的TensorFlow，处理矩阵异常难懂。各种tf.函数2）刚开始接触RNN。循环神经网络都要查阅3）对模型的输入输出不是把握很准。转换TensorFlow版本0.12到1.