8、深度学习基础全面解析

深度学习基础全面解析

1. 神经网络与深度学习概述

神经网络由相互连接的单元组成，连接的权重决定了不同单元之间通信的强度。不同架构的网络可以产生不同的分离区域，例如具有两个隐藏单元的神经网络和具有四个隐藏单元的神经网络所学习到的超平面是不同的。

神经网络的信息从输入层通过权重和激活函数逐层传递到输出层。训练神经网络主要是通过梯度下降（GD）和反向传播（BP）来调整权重。

深度学习是一类机器学习技术，通过分层处理信息来理解数据中越来越复杂的特征和表示。深度学习网络通常指具有多个隐藏层的神经网络。使用多个隐藏层的原因主要有两个：一是近似复杂函数时，单层隐藏层可能需要大量单元，不切实际；二是深度网络不仅能根据输入预测输出，还能理解输入的基本特征，学习输入样本特征的抽象表示，这是其他基本机器学习算法和浅层神经网络所缺乏的。

2. 深度学习的引入

2012 年，Alex Krizhevsky、Ilya Sutskever 和 Geoffrey Hinton 在论文中展示了使用神经网络赢得 ImageNet 竞赛的成果。他们的实验表明，移除网络中的任何中间层都会导致模型的前 1 准确率损失约 2%，这说明网络深度对性能很重要。

为了理解深度学习，我们可以借助图像来分析。在训练神经网络识别不同类别（物体或动物）的图像时，网络的不同层学习到输入数据的不同特征。第一层学习检测一些基本特征，如线条和边缘，这些特征是所有类别图像共有的；后续层将这些线条和边缘组合成更复杂的、特定类别的特征，如人脸的眼睛、鼻子和嘴巴，汽车的轮子和门等。这些特征是抽象的，网络能够学习到特征的通用形状，并在输入数据中检测到这些特征，即使它们存在变化。