8、深度学习基础：从神经网络到深度网络的探索

深度学习基础：从神经网络到深度网络的探索

1. 神经网络与深度网络概述

神经网络由相互连接的单元组成，连接的权重表征了不同单元之间通信的强度。不同架构的网络可以产生不同的分离区域，例如具有两个隐藏单元的神经网络和具有四个隐藏单元的神经网络所学习到的超平面是不同的。

神经网络的信息从输入层通过权重和激活函数逐层传递到输出层。训练神经网络主要是通过梯度下降（GD）和反向传播（BP）来调整权重。

2. 深度学习简介

2.1 深度网络的重要性

在2012年，Alex Krizhevsky等人发表的论文表明，使用深度卷积神经网络赢得了ImageNet竞赛。实验发现，移除网络中的任何中间层都会导致模型的top - 1准确率损失约2%，这说明网络深度对性能很重要。

2.2 深度网络学习特征示例

通过训练一个神经网络来识别不同类别（物体或动物）的图片，我们可以看到不同层学习到输入数据的不同特征。
- 第一层：学习检测一些小的基本特征，如所有类别图像中常见的线条和边缘。
- 后续层：将这些线条和边缘组合成更复杂的、特定于每个类别的特征，如人脸的眼睛、鼻子和嘴巴，汽车的轮子、门等。更深的层还能将这些特征组合成更复杂的整体，如完整的人脸和汽车。

2.3 深度学习的概念起源

1801年发明的雅卡尔织布机使用穿孔卡片，每张卡片代表一种图案，是该图案的抽象表示。这些穿孔卡片可以组合创造更复杂的图案，这为深度学习通过特征表示来定义现实播下了种子。

深度学习中的深度神经网络不仅能识别物体，还能理解物体的特征，基于这些特征进行设计和分类。例