Hyacintheatre的博客

出现这个Runtime error 很有可能是因为一个 batch 内每条数据长度不一致，检查是否需要 pad 或者 truncate 是否有问题。我在使用 transformers 的 Berttokenizer 处理句子对是遇到这个问题，不同的数据有不同的特点，根据具体情况调整 truncate 策略。encoded_pair = self.tokenizer(sent1, sent2, padding='max_leng

Word2vec 总结两类模型：continuous bag-of-words （CBOW）根据上下文预测中心词；skip-gram 根据中心词预测上下文两种训练方式：负采样和层次 softmax，负采样通过抽取负的样本建立目标函数，而层次 softmax 使用树结构来计算每个词的概率。word2vec 是基于神经网络的语言模型，输入词嵌入矩阵VVV和输出词嵌入矩阵UUU是模型要训练的参数，CBOW 通过上下文 one-hot 向量和VVV相乘求平均得到中心词词向量估计vvv，中心词词向量再和UU