16、高级特征工程与自然语言处理算法：深入解析Word2Vec

高级特征工程与自然语言处理算法：深入解析Word2Vec

1. Word2Vec核心计算与概率转换

在Word2Vec的训练过程中，隐藏层输出 $H_t$ 可通过公式 $H_t = X_tW_I$ 计算得出，例如 $H_t = [-0.490796 -0.229903 0.065460]$。由于独热编码表示，隐藏神经元的输出会模仿 $W_I$ 矩阵第二行的权重。接下来，我们需要对隐藏层和输出层进行类似计算，其计算方式为 $H_tW_O = [0.100934 -0.309331 -0.122361 -0.151399 0.143463 -0.051262 -0.079686 0.112928]$。

我们的最终目标是获取输出层中单词的概率，即 $Probability (word_k|word_{context})$（$k = 1…V$），它反映了输入的上下文单词与下一个单词之间的关系。但此时输出是一组向量形式，需要将其转换为概率，且要保证最终输出层神经元输出的总和为1。在Word2Vec中，我们使用softmax函数将输出层神经元的激活值转换为概率。

softmax函数的公式用于计算第 $k$ 个神经元的输出，通过该公式可以计算语料库中八个单词的概率，得到概率值为 $[ 0.143073 0.094925 0.114441 0.111166 0.149289 0.122874 0.119431 0.144800 ]$。以下是实现softmax函数的Python代码：

import numpy as np
def stablesoftmax(x):
    """Compute the softmax