3、神经网络架构与反向传播网络深度解析

神经网络架构与反向传播网络深度解析

神经网络架构分类

多年来，多种神经网络（NN）系统不断发展，以下是一些具有重要意义的系统：
- ADALINE（自适应线性神经元素）
- ART（自适应共振理论）
- AM（联想记忆）
- BAM（双向联想记忆）
- 玻尔兹曼机
- BSB（盒中脑状态）
- CCN（级联相关）
- 柯西机
- CPN（反向传播网络）
- 汉明网络
- 霍普菲尔德网络
- LVQ（学习向量量化）
- MADALINE（多个ADALINE）
- MLFF（多层前馈网络）
- 新认知机
- 感知机
- RBF（径向基函数）
- RNN（循环神经网络）
- SOFM（自组织特征映射）

这些NN系统可以根据学习方法和架构类型进行分类，具体如下表所示：
| 学习方法 | 单层前馈 | 多层前馈 | 循环神经网络 |
| — | — | — | — |
| 梯度下降 | ADALINE、感知机、CCN | MLFF、RBF、新认知机 | BAM、RNN、BSB、ART、柯西机、霍普菲尔德网络 |
| 赫布学习 | AM、霍普菲尔德网络 | - | - |
| 竞争学习 | LVQ、SOFM | - | - |
| 随机学习 | - | 玻尔兹曼机 | - |

神经网络研究历史

神经网络研究有着丰富的历史，其发展历程中的重要里程碑如下：
| 年份 | 神经网络名称 | 开发者 | 备注 |