13、神经网络与深度学习：原理、应用与实践

神经网络与深度学习：原理、应用与实践

1. 激活函数：tanh 与 sigmoid 的对比

在神经网络中，激活函数的选择至关重要。tanh 函数和 sigmoid 函数是常用的激活函数，为何有时会选择 tanh 而非 sigmoid 呢？当数据经过缩放，均值为 0 且方差为 1 时，tanh 函数允许权重平均接近零（零中心），这有助于避免偏差并提高收敛性。而 sigmoid 函数从输出神经元到输入神经元的权重总是为正，在反向传播过程中，层与层之间的权重会全部变为正或全部变为负，这可能导致性能问题。此外，sigmoid 函数在尾部（0 和 1）的梯度几乎为零，在反向传播时，不同层的神经元之间几乎没有信号流动。不过，tanh 并不总是比 sigmoid 好。

2. 深度学习概述

深度学习是机器学习的一个分支，基于一组算法，试图通过使用具有复杂结构或其他形式的模型架构，对数据中的高级抽象进行建模。其特点是基于人工神经网络（ANN），主要使用无监督学习技术从输入变量中创建新特征。它与普通 ANN 的区别在于能够识别数据中的潜在结构和层次，就像元素周期表，在没有指定响应变量的情况下发现数据的结构。深度学习可以解决是否存在比原始输入更好地表示结果的算法的问题，例如在图像分类中，不只是使用原始像素作为输入。在有少量标记响应但大量未标记输入数据的情况下，可先使用无监督学习训练深度学习模型，再以监督方式应用于标记数据，反复迭代。

3. 深度学习中的特征选择与正则化

3.1 正则化方法

在深度学习中，可以使用正则化方法对权重进行惩罚，如 L1（惩罚非零权重）、L2（惩罚大权重）和 dropout（随机忽略某些输入并将其权重归零）