17、高级特征工程与自然语言处理算法：深入解析Word2Vec模型

高级特征工程与自然语言处理算法：深入解析Word2Vec模型

1. 激活函数与简单神经元训练

在神经网络中，激活函数起着至关重要的作用。常见的激活函数有阶跃函数和Sigmoid函数。当我们用一个圆圈来表示神经元时，这个圆圈包含了加权和与激活函数。

接下来，我们将探讨如何使用激活函数训练一个简单的神经元，并理解用于计算预测输出误差的损失函数。训练简单神经元的主要目标是通过误差函数来衡量预测的误差程度，并尽可能降低误差值，从而提高预测的准确性。

在训练过程中，我们使用输入数据，通过误差函数计算误差，更新神经元的权重，然后重复这个训练过程，直到达到最小误差率，以获得最优、最准确的输出。这里有两个重要的概念需要理解：定义误差函数（损失函数）和理解Word2Vec中的梯度下降。

2. 定义误差函数

我们的输入是一个包含词汇 $x_1$ 到 $x_k$ 的向量 $X$，输出是向量 $y$。为了计算误差 $E$，我们使用L2损失函数。常见的损失函数有两种：
- 最小绝对偏差（L1）
- 最小平方误差（L2）

L2损失函数也称为最小平方误差函数，它的目标是最小化估计值与实际目标值之间的平方差。当计算单个神经元的L2损失函数时，我们使用以下方程：
[E = \frac{1}{2}\sum_{i=1}^{n}(t_i - y_i)^2]
其中，$t$ 是目标向量值，$y$ 是估计向量值或预测向量值，$E$ 是误差函数。

3. 理解Word2Vec中的梯度下降

为了准确预测目标值，我们需要最小化L2损失函数的值。为此，我们对L2函数方程关于 $y$ 求偏导