8、神经网络系统设计的建设性学习技术

神经网络系统设计的建设性学习技术

1. 引言

神经网络已广泛应用于控制、电信、医学诊断、石油勘探、金融等众多领域。这些应用大致可分为三类：分类问题、回归任务和新奇性检测。

1.1 应用类型

• 分类问题 ：将输入分配到不同的类别或范畴中，例如字符识别、说话人识别、数字信道均衡和目标识别等。在这类问题中，神经网络的输出节点通常是离散的，常见为二进制值。
• 回归任务 ：实现从输入到输出的连续映射，如机器人控制系统、保险承保中的风险评估、自适应光学望远镜镜段控制、货币汇率预测等。此时，神经网络的输出节点具有连续值。
• 新奇性检测 ：检测异常或不寻常的特征，例如脑电图数据中的异常特征检测、宫颈涂片上的异常细胞检测、机械故障检测、磁共振成像扫描中的异常组织检测等。通常使用正常数据构建密度函数，将新奇或异常特征作为该分布的离群值进行突出显示。

1.2 常见解决方法

分类和回归问题通常采用多层神经网络架构来处理。使用反向传播算法训练的网络和径向基函数（RBF）网络是解决这类问题的常见选择。

• 反向传播算法 ：通过梯度下降过程来确定节点的权重和偏置，网络架构则通过实验确定。通常会尝试不同数量的隐藏节点进行训练，并根据验证集评估性能，以确定最佳的隐藏节点数量。但此步骤计算量较大，只能评估可能网络空间的一小部分。
• RBF 网络 ：同样需要找到合适的基函数来覆盖