18、前馈神经网络规范与神经抽象机探索

前馈神经网络规范与神经抽象机探索

在神经网络领域的研究中，众多学者致力于开发通用框架以描述架构和学习算法的基础，同时解决当前神经网络模拟器和规范语言存在的诸多问题。接下来，我们将深入探讨相关的研究成果和最新进展。

现有通用框架研究

许多学者提出了不同的通用框架，以涵盖不同类型的神经网络算法和参数估计方法。具体如下：
| 学者 | 研究内容 |
| — | — |
| Nerrand 等人 | 描述了一个通用框架，涵盖前馈和递归神经网络算法以及非线性滤波器的参数估计算法。将前馈网络视为横向滤波器，递归网络视为递归滤波器，并基于规范形式定义开发基于梯度估计的训练算法 |
| Tsoi 和 Back、Tsoi | 基于具有线性动力学的系统理论，提出离散时间前馈和递归网络架构的统一观点。使用规范形式对相似架构进行分组，并通过基于矩阵的符号获得统一描述 |
| Wan 和 Beaufays | 利用流图理论，提出构建和操作表示神经网络的框图的方法。基于一组简单的框图操作规则推导时间神经网络的梯度算法 |
| Berthold 等人 | 采用计算方法，使用图语法正式指定神经网络及其相应的训练算法。该形式框架有助于证明训练算法的性质，并可用于设计新的网络架构和训练算法 |
| Frasconi 等人 | 提出在结构化领域统一确定性和概率学习的建议，使用图形模型在统一框架中描述涉及数据结构的神经和概率（贝叶斯网络）转换 |

神经抽象机的需求

当前的神经网络模拟器和规范语言存在诸多缺点，无法成为开发成功神经网络解决方案的有效工具。主要问题包括：
1. 特异性过强