18、神经网络决策与多层网络训练全解析

神经网络决策与多层网络训练全解析

在神经网络的研究中，决策的制定以及多层网络的构建与训练是至关重要的环节。下面将深入探讨相关内容。

1. 决策模拟的启示

在模式问题的模拟研究中，Delamater等人（1999）使用的六隐藏单元网络可被多种不同的感知器架构替代。这些感知器模拟表明，求和也能在模式的构型理论中出现，这意味着感知器为模式理论的发展提供了有趣的途径。

不过，对于线性可分的模式问题，上述感知器都无法产生与Delamater等人动物实验相似的结果，他们使用的多层网络同样如此。在最终模拟里，将模式问题以逻辑上等同于异或（XOR）的形式操作化，当在输出单元使用高斯激活函数的网络上进行该实验时，结果更接近动物实验的发现。

这些模拟有重要启示：
- 若动物学习理论家想通过排除“空模式”来操作化模式，就应认识到感知器可完成模式操作，避免使用过于复杂的网络来建模。
- 若模式的线性不可分性是关键特征，学习理论家在模拟和构建理论时，应确保以不可分的形式操作化模式。也许Delamater等人（1999）的网络若在训练集中加入“空模式”，结果会更接近动物数据。

2. 多层网络的必要性

尽管感知器有有趣的研究结果，但必须承认其能力有限。若想利用联结主义探索合成心理学中的复杂现象，就需转向更强大的架构，即创建具有多层连接的网络。如今有了非线性激活函数，我们能够成功创建多层网络。

3. 多层网络的逻辑

感知器和多层感知器有诸多共同特性：
- 都有输入单元层，用于接收环境中的刺激模式。
- 都有输出单元层，采用非线性激活函数，通常用于生成可解释为对呈现模