23、神经网络算法全面解析

神经网络算法全面解析

1. 神经网络训练基础

在神经网络中，输入向量 $x$ 是一个 $n_x$ 维向量，$n_x$ 代表输入变量的数量。一个典型的神经网络，如示例中的网络有四层，输入层和输出层之间的是隐藏层。第一层隐藏层的神经元数量用 $n_h^{[l]}$ 表示。各节点之间的连接会乘以被称为权重的参数，训练神经网络的核心就在于确定这些权重的最优值。通过调整权重，网络能够微调计算结果，随着时间推移提升性能。

训练神经网络是指利用给定数据集构建网络的过程。训练时，我们要计算出权重的最佳值，通过迭代使用训练数据中的示例来完成。训练数据中的示例包含不同输入值组合对应的期望输出值，这与传统模型的训练方式有所不同。

一个典型的神经网络由以下部分组成：
- 层（Layers） ：是神经网络的核心构建模块，每个层都是一个数据处理模块，像过滤器一样，接收一个或多个输入，以特定方式处理后产生一个或多个输出。每次数据通过层时，会经历处理阶段并呈现与业务问题相关的模式。
- 损失函数（Loss function） ：为学习过程的各次迭代提供反馈信号，它给出单个示例的偏差。
- 成本函数（Cost function） ：是整个示例集上的损失函数。
- 优化器（Optimizer） ：决定如何解读损失函数提供的反馈信号。
- 输入数据（Input data） ：用于训练神经网络的数据，指定了目标变量。
- 权重（Weights）