4、神经网络特性、权重选择与训练详解

神经网络特性、权重选择与训练详解

1. 神经网络的特性

神经网络是复杂的非线性互联系统，具有广泛的用途和显著的特性，这些特性大多源于其生物信息处理单元的起源。这里主要讨论分类、关联与模式识别以及函数逼近这两个特性。

1.1 分类、关联与模式识别

在数字信号处理中，神经网络被广泛用作模式识别器、分类器和对比度增强器。其核心在于区分输入到网络的不同输入，输入通常是恒定的时不变向量，常见的有二进制（由 1 和 0 组成）或双极（例如元素为 ±1）向量。这种用途下的神经网络被称为内容可寻址关联存储器，它将各种输入模式与一组示例模式中最接近的模式相关联。
- 分类 ：
- 对于一个具有两个输入 (x_1)、(x_2) 和一个输出的单层神经网络，其输出可以取 ±1 值。当输出 (y) 为 0 时，存在关系 (0 = V_0 + V_1x_1 + V_2x_2)，这是一条将二维空间划分为两个决策区域的直线，(y) 在一个区域取值为 +1，在另一个区域取值为 -1。通过检查输入向量 (x = [x_1 x_2]^T) 输入到网络后 (y) 的值，可将其划分为两类。
- 一般情况下，具有 (n) 个输入 (X_j) 和 (L) 个输出 (y_e) 的单层神经网络使用 (L) 个超平面（(n - 1) 维子空间）对 (n) 维空间进行划分。若输入值不能通过超平面分离，则无法使用单层神经网络进行分类，例如异或问题。
- 具有 (n) 个输入、(L) 个隐藏层神经元和 (m) 个输出的两层神经网络能实现比单层神经网络更复杂的决策边界。它的第一层形成 (L) 个超平面，第二层通过对这些超平面定义的区域进行各种交集操作，将它们