10、深度学习：原理、应用与挑战

深度学习：原理、应用与挑战

1. 深度学习基础概念

深度学习是机器学习的核心领域，其算法借助现有数据集，能够解决复杂、未知和不可预测的问题，还能进行反思。深度学习通过多层计算来处理信息，可实现理解人类语言、识别物体等功能。信息会依次经过多个层次，最基础的是数据层，最后一层是输出层，中间所有层合称为隐藏层。每层通常遵循一套基本、统一的规则，包含一种特定的结构。由于高性能计算能力的提升，模拟人类神经网络的深度学习策略变得广为人知。深度学习能够处理大量特征，在处理非结构化信息时，展现出强大的能力和灵活性。它先学习传统指令，让信息逐层传递，初始层提取低层次特征，后续层将这些特征组合成完整表示。

深度学习的历史可以追溯到1943年，当时沃尔特·皮茨和沃伦·麦卡洛克基于人类大脑的神经网络取得了进展，他们运用“边缘推理”的计算方法来模拟人类思维。此后，深度学习不断发展。1960年，亨利·J·凯利奠定了连续反向传播（BP）模型的基础；1962年，斯图尔特·德雷福斯基于链式法则开发出更简单的模型。不过，早期的BP概念效率低下，直到1985年才开始发挥作用。

2. 不同类型的神经网络

• 人工神经网络（ANN） ：要理解人工神经网络的结构，可从人类大脑获取灵感。人类大脑约有$10^{11}$个处理单元（神经元），它们并行工作，通过神经递质传递信息。神经元会汇总输入信息，若结果超过特定阈值（激活函数），就会通过轴突向下一级发送脉冲。类似地，人工神经网络包含简单的处理单元（人工神经元），各单元通过大量连接相互关联，计算输入的加权和，并利用激活函数得出输出。一个神经元的输出$y_1$可表示为：$y_1 = \sum_{i} w_i x