关于word2vec原理和结构总结为2+2+1的关系
。
2—>两种模式,COBW和Skip-gram
COBW:已知中间词向量求周围词向量

COBW的运行原理流程:

Skip-gram:已知周围词求中间词向量


2—>两种优化方案,层次softMax和负采样
由上图两个模型的流程可知,最后都是softmax求出词的概率最大时的参数,所以在实际情况下V的维数时很高的,所以在计算时复杂度很高,要求softmax要输出V个概率。
层次softmax:原理是把softmax多分类换为多个sigmoid,改为二叉树的计算方式