14、离线阿拉伯手写识别的多维循环神经网络系统

离线阿拉伯手写识别的多维循环神经网络系统

1. 多维循环神经网络基础

1.1 多维循环神经网络（MDRNN）

在多维循环神经网络中，存在着特定的前向和反向传播方程。设 (p^{-} d = (p_1, \cdots, p {d - 1}, \cdots, p_n)) 和 (p^{+} d = (p_1, \cdots, p {d + 1}, \cdots, p_n))，(w_{ij}) 是从单元 (i) 到单元 (j) 的前馈连接权重，(w^d_{ij}) 是沿维度 (d) 从 (i) 到 (j) 的循环连接权重。(\theta_h) 是隐藏单元 (h) 的激活函数，对于单元 (j) 和可微目标函数 (O)，令 (\delta^p_j = \frac{\partial O}{\partial a^p_j})。那么，一个具有 (I) 个输入单元、(K) 个输出单元和 (H) 个隐藏求和单元的 (n) 维 MDRNN 的前向和反向传播方程如下：
- 前向传播 ：
- (a^p_h = \sum_{i = 1}^{I} x^p_i w_{ih} + \sum_{d = 1, p_d > 0}^{n} \sum_{\hat{h} = 1}^{H} b^{p - } d {\hat{h}} w^d_{\hat{h}h})
- (b^p_h = \theta_h(a^p_h))
- 反向传播 ：
- (\delta^p_h = \theta’ h(a^p_h) \left( \sum {k