10、深度神经网络：原理、训练与评估

深度神经网络：原理、训练与评估

1. 深度神经网络概述

人工神经网络（ANN）是一种模拟生物大脑的系统，属于深度学习这一广泛的机器学习方法类别。深度学习基于ANN的核心思想是从简单的概念或特征构建复杂的概念或表示。ANN通过将输入映射到输出来学习复杂函数，由许多简单函数组成。

ANN由多层单元（神经元）组成，这些单元相互完全连接，也被称为深度神经网络（DNN）、全连接神经网络（FCNN）或多层感知器（MLP）。

ANN通常包含输入层、隐藏层和输出层，如下图所示：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A([输入层]):::startend --> B(隐藏层):::process
    B --> C([输出层]):::startend

输入层接收数据，其单元数量等于数据集中的特征数量。隐藏层根据其单元使用的激活函数转换输入。单元之间通过边连接，每条边都有一个权重，定义了连接的强度。此外，每个隐藏层单元还连接一个偏置项，边权重为1。

如果存在多个隐藏层，则称该ANN为“深度”网络。因此，具有两个或更多隐藏层的ANN被称为DNN。

2. 前向传播

前向传播是指输入数据通过ANN转换为输出的过程。输入数据通过输入层的单元，其值在网络中