weixin_43246794的博客

pytorch-Field 源码：text/torchtext/data/field.py

参考资料：1.https://www.cnblogs.com/Simon-xm/p/4034416.html2.https://www.cnblogs.com/suguangti/p/10896196.html

对Skip gram模型一直都只是知道思想，就是由中心词预测窗口内的背景词，但是从来没有动手实现过。这次有机会从头开始实现，发现了许多实践上的问题。重点一：训练样本的形式一开始非常纠结的一个问题是：每个训练样本的形式是什么样的？例如，{w1, w2, w3, w4, w5}，以w3为中心词，window_size为2，得到context为{w1，w2，w4，w5}。那么此时的训练样本到底是i...

【Attention中mask pad的weight的做法】在attention中，对attention score进行softmax时，需要考虑到query与pad计算得到的score应该忽略。我们在处理时可以先正常地用高维tensor形式将所有score计算出来，然后根据key的句长将pad所在位置的weight进行mask掉。下面的代码实现了给定二维tensor X，根据X_len将X中...

1.数据展示的只是feature的其中一维和label之间的关系~可以用下面的代码展示二维的feature和label之间的关系2.我认为这里的代码实现的并不是sgd方法，而是mbgd。sgd是每次随机选择一个样本点来更新梯度，代码中实现的是每次用batch_size中所有的数据来更新梯度。3.训练部分的代码，sgd优化部分给的代码是sgd([w,d], lr, batch_size...

论文参考：https://academic.oup.com/bioinformatics/article/34/8/1381/4657076Ling Luo, Zhihao Yang, Pei Yang, Yin Zhang, Lei Wang, Hongfei Lin, Jian Wang. An Attention-based BiLSTM-CRF Approach to Document-...