17、高级特征工程与自然语言处理算法深入解析

高级特征工程与自然语言处理算法深入解析

1. 激活函数与简单神经元训练

激活函数在神经网络中起着关键作用，常见的激活函数有阶跃函数和Sigmoid函数。当我们用一个圆圈来表示神经元时，这个圆圈包含了加权和与激活函数。接下来，我们将探讨如何使用这些激活函数，以及如何通过误差函数计算预测输出中的误差。

训练简单神经元时，主要目标是通过激活函数进行训练，并理解损失函数以计算预测输出中的误差。误差函数能告诉我们预测的误差程度，我们的目标是尽可能降低误差值，从而提高预测的准确性。训练过程中，我们使用输入数据，通过误差函数计算误差，更新神经元的权重，并重复训练过程，直到达到最小误差率，获得最佳、最准确的输出。

这里涉及两个重要概念：
- 定义误差函数（损失函数）
- 理解Word2Vec中的梯度下降

2. 定义误差函数

输入是包含词汇 $x_1$ 到 $x_k$ 的向量 $X$，输出是输出向量 $y$。为了计算误差 $E$，我们使用L2损失函数。常见的损失函数有两种：
| 损失函数类型 | 名称 |
| ---- | ---- |
| L1 | 最小绝对偏差 |
| L2 | 最小平方误差 |

L2损失函数也称为L2损失函数，其目标是在从数据集中学习时达到最小值，具体是最小化估计值与现有目标值之间的平方差。计算单个神经元的L2损失函数时，使用以下公式：
[E = \frac{1}{2}\sum_{i=1}^{n}(t_i - y_i)^2]
其中，$t$ 是目标向量值，$y$ 是估计向量值或预测向量值，$E$ 是误差函数。

3.