80、深度学习：原理、架构与特征提取应用

深度学习：原理、架构与特征提取应用

1. 深度学习基础

深度学习起源于多层神经网络通过基于梯度的学习来最小化分类误差或损失从而取得良好效果的时期。早期，由于参数众多且数据有限，训练时间很长。后来，硬件发展迅速，处理速度加快（尤其是图形处理单元 GPU 的使用），内存成本降低且容量增大，使得网络规模得以扩大。深度学习最初在图像分类问题上展现出卓越性能，由此引发了一场革命。

1.1 深度神经网络基本架构

深度神经网络的输入数据通常是图像，输出是类别标签。网络内部会进行特征提取以做出分类决策，相较于早期的人工神经网络（ANN），它需要更多的层，因此被称为深度网络。

以一个简单的例子来说，若要检测 2×2 图像中的水平、垂直和对角线，可采用特定架构。第一层是输入层，后续层评估差分函数，按照反映待检测形状的顺序对像素点进行加减操作，类似于边缘检测。之后通过神经元进行阈值处理形成二进制输出。给定图像数据库，可训练网络并学习合适的权重，以检测数据库中给定类别的形状，这将特征检测、分析与分类决策相结合。

1.2 Alexnet 的崛起

Alexnet 在深度学习革命中起到了关键作用。它在 ImageNet 大规模视觉识别挑战赛中表现出色，该比赛有来自约 1000 个类别的高分辨率标注图像，包括 120 万张训练图像、5 万张验证图像和 15 万张测试图像。Alexnet 实现了最低的误差率，远远超越了其他竞争对手。

Alexnet 的计算使用了包含 65 万个神经元和 6000 万个参数的层，包括卷积层和全连接层。卷积层实现了卷积操作的神经结构，其主要概念包括：
- 局部性