1、神经网络实现技术综述

神经网络实现技术综述

1. 神经网络概述

神经网络受人类大脑结构启发，已广泛应用于模式识别、优化、编码、控制等领域。它由大量简单处理单元（神经元）相互连接组成，能通过调整连接强度从数据中学习解决问题，还可适应新环境，处理噪声、不一致、模糊或概率性信息。

2. 各类神经网络介绍

2.1 递归神经网络

递归神经网络是一种控制动态系统，在连续时间下由微分方程组描述：
[
\dot{x} = \sigma(Ax + Bu)
]
其中 (x \in \mathbb{R}^n)，(u \in \mathbb{R}^m)，(y \in \mathbb{R}^p)，(A)、(B)、(C) 是适当维度的矩阵。(\sigma: \mathbb{R}^n \to \mathbb{R}^n) 定义为 (\sigma(\xi) = (\sigma(\xi_1), \ldots, \sigma(\xi_n)))，(\sigma) 是给定的非线性函数。(u) 为输入信号（控制），(y) 为输出信号（观测）。

该网络常用于实现非线性输入/输出行为，矩阵 (A)、(B)、(C) 的元素（网络权重）根据经验数据和最佳拟合准则确定。系统理论研究递归神经网络的目的有两个：
- 尝试用矩阵 (A)、(B)、(C) 的代数方程表征标准系统理论属性，如可观测性、可控性、可识别性、可检测性。
- 在建模非线性输入/输出行为时，希望使用最小递归神经网络，即相同输入/输出行为不能由状态空间维度更低的递归神经网络产生，这涉及到经典的可识别性问题。

2.1.1 可观测性

给出了系统可观