16、从零开始构建基础神经网络：原理、代码与调优

从零开始构建基础神经网络：原理、代码与调优

1. 神经网络基础理解

神经网络看似复杂，但其实可以将其类比为一个过滤器。我们将数据从顶部输入，数据经过各个创建的层进行处理，最终在底部得到输出。

1.1 神经网络的关键要素

• 权重和偏置 ：如同过滤器的控制装置，用于微调过滤效果。在神经网络中，通过调整权重和偏置，使得信号在满足由激活函数定义的特定条件（阈值）时得以通过。
• 优化器 ：用于确保过滤器的输出保持稳定。在神经网络中，优化器通过优化输出，让我们无需手动不断调整就能获得所需结果。
• 学习率 ：类似于调整过滤器的注入速率。调整神经网络优化器的学习率，可以确保神经网络产生我们期望的输出。

1.2 神经网络架构定义

神经网络由众多计算单元（神经元）按层次排列组成。每个神经元接收前一层神经元的输入，并将输出传递给下一层，直到整个网络满足特定要求并输出结果。

以一个包含输入层、3 个神经元的隐藏层和单个输出层（用于判断输入是否属于某一类，输出为二进制 0/1）的网络为例，需要创建两组权重矩阵：
- 第一个矩阵大小为（输入数量 x 3），用于将输入与权重相乘并汇总到 3 个神经元。
- 第二个矩阵大小为（3 x 1），用于收集隐藏层的所有输出并将其汇聚到输出层。

以下是实现该架构的 Python 代码：

import nu