25、神经网络拓扑结构与训练：原理、方法及应用

神经网络拓扑结构与训练：原理、方法及应用

1. 神经网络拓扑结构概述

神经网络的学习能力源于其拓扑结构，即相互连接的神经元的模式和结构。网络架构虽有无数种形式，但可通过三个关键特征进行区分：
- 层数
- 网络中信息是否允许反向传播
- 网络每层中的节点数量

拓扑结构决定了网络能够学习的任务复杂度。一般而言，更大、更复杂的网络能够识别更微妙的模式和更复杂的决策边界。不过，网络的能力不仅取决于规模，还与单元的排列方式有关。

2. 层数对网络的影响

为定义拓扑结构，需依据人工神经元在网络中的位置进行区分。简单网络拓扑中，一组称为输入节点的神经元直接从输入数据接收未处理的信号，每个输入节点负责处理数据集中的一个特征，特征值会通过相应节点的激活函数进行转换。输入节点发送的信号由输出节点接收，输出节点使用自身的激活函数生成最终预测。

输入和输出节点按组排列成层。由于输入节点按原样处理传入数据，这种网络只有一组连接权重，因此被称为单层网络。单层网络可用于基本的模式分类，特别是线性可分的模式，但大多数学习任务需要更复杂的网络。

创建更复杂网络的一种明显方法是添加额外的层。多层网络会添加一个或多个隐藏层，在信号到达输出节点之前对输入节点的信号进行处理。隐藏节点之所以得名，是因为它们隐藏在网络内部，其与数据和输出的关系很难理解。隐藏层使人工神经网络成为黑盒模型，尤其是当拓扑结构变得更复杂时，了解这些层内部的情况几乎是不可能的。

具有多个隐藏层的神经网络称为深度神经网络（DNN），训练此类网络的实践称为深度学习。在大型数据集上训练的 DNN 能够在图像识别和文本处理等复杂任务上表现出类似