20、神经网络入门：原理、实现与训练

神经网络入门：原理、实现与训练

1. 隐藏层节点数量规则

• 第一隐藏层 ：第一隐藏层的节点数量应与输入向量的特征数量相匹配，理想情况下应超过输入向量的特征数量。
• 其他隐藏层 ：除第一隐藏层外，每个隐藏层的节点数量应与前一层和后一层的节点数量相同，或者介于两者之间。如果第 i - 1 层有 N 个节点，第 i + 1 层有 M 个节点，那么第 i 层的节点数 x 满足 N ≤ x ≤ M 可能是合适的。

传统神经网络最适用于输入没有空间关系的情况，即输入是特征向量而非图像。当输入维度较小，或者数据量不足，难以训练大型卷积网络时，可以尝试使用传统神经网络。如果决定使用传统神经网络，应从小规模开始，在性能提升的情况下逐步扩大规模。

2. 输出层

神经网络的最后一层是输出层。根据不同的任务，输出层的设置有所不同。
- 回归任务 ：如果网络用于建模连续值（回归），输出层是一个不使用激活函数的节点，它直接输出图 8 - 2 中 h 的参数，相当于激活函数为恒等函数 h(x) = x 。
- 分类任务
- 二分类 ：如果有两个类别（标记为 0 和 1），将最后一个节点的激活函数设为 sigmoid 函数。它会输出一个介于 0 和 1 之间的值，可解释为输入属于类别 1 的可能性或概率。分类决策规则为：如果激活值小于 0.5，则将输入归为类别 0；否则，归为类别 1。
- 多分类