6、神经网络模型基础

神经网络模型基础

无特定指导下的网络组织

之前我们探讨了如何建立给定的输入 - 输出映射，但并非所有的权重设置过程都是如此。另一种可能是，在给定权重变化规则的情况下，探索网络在接收到一系列输入时权重是如何发展的。

比如，基于对神经元和突触的实验数据或直觉，可能会提出特定的权重变化规则。然后我们可以研究由此产生的权重组织是否与神经系统的某些特征相似。或者，权重变化规则也可以被设计用来产生特定的网络组织，例如减少输入模式中的噪声或增强其某些特征的输入 - 输出转换。

与前面的情况不同，在这些案例中，网络组织的形成并没有关于是否正在构建现实或有用的输入 - 输出映射的特定反馈，这就引出了“自组织”这个概念。不过要记住，最终形成的任何组织，除了取决于网络自身的属性外，还关键取决于输入到网络中的内容。

特别值得考虑的是基于神经元连接处可用信息的权重变化规则。这些信息可能包括神经元的状态变量以及描述细胞外环境状态的变量，如神经调节剂的丰度。

下面来看一个简单的权重变化规则示例：
$\Delta W_{ij} = \eta(z_i - a)(z_j - b)$ （2.52）
其中，$z_i$ 和 $z_j$ 是由 $W_{ij}$ 连接的节点的活动，$a$ 和 $b$ 是两个常数。该公式意味着，如果 $z_i > a$ 且 $z_j > b$，或者 $z_i < a$ 且 $z_j < b$，$W_{ij}$ 会增加；否则会减少。

我们以图 2.14 中的网络为例，它有一个输出节点，接收来自排列成简单视网膜模型的节点的输入。我们向这个网络输入由弥散的兴奋团组成的输入模式（图 2.15 左侧）