NLP - 神经网络与反向传播

神经网络中的命名实体识别：雅可比矩阵与反向传播的应用

最新推荐文章于 2025-11-25 00:15:54 发布

原创

最新推荐文章于 2025-11-25 00:15:54 发布 · 1.3k 阅读

CC 4.0 BY-SA版权

文章标签：

根据上下文窗口建立词向量
通过一个神经网络层，通过一个逻辑分类器，得到这个概率是属于特定实体词的预测概率。
另一个分类器来比较说明这个词是哪个实体类型（比较概率）

在这里插入图片描述

手工实现梯度下降

给定一个具有 $m$ 输出和 $n$ 输入的函数：
$\boldsymbol{f}(\boldsymbol{x})=[f_1(x_1,x_2,...,x_n),...,f_m(x_1,x_2,...,x_n)]$
它的雅可比矩阵是一个 $m×nm\times n$ 偏导数矩阵：
$∂f∂x=[∂f1∂x1…∂f1∂xn⋮⋱⋮∂fm∂x1…∂fm∂xn](∂f∂x)ij=∂fi∂xj\dfrac{\partial\boldsymbol{f}}{\partial\boldsymbol{x}}=\begin{bmatrix}\frac{\partial f_1}{\partial x_1}&\dots&\frac{\partial f_1}{\partial x_n}\\\vdots&\ddots&\vdots\\\frac{\partial f_m}{\partial x_1}&\dots&\frac{\partial f_m}{\partial x_n}\end{bmatrix} \color{red}{\boxed{\left(\frac{\partial f}{\partial x}\right)_{ij}=\frac{\partial f_i}{\partial x_j}}}$