29、神经网络学习：从基础到实践

神经网络学习：从基础到实践

1. 网络初始化

使用全零初始化网络是不可取的。因为若所有神经元的值相同，它们对训练输入的反应也会相同，无论网络架构中有多少神经元，它们都如同单个神经元一样工作。

简单的解决办法有两种：
- 以激活函数所需范围内的随机权重作为初始值，激活函数是为网络解决问题增添灵活性的转换函数。
- 将权重设置为均值为零、标准差为一（统计学中的标准正态分布）。

对于更复杂的网络，有更高级的权重初始化方法，可参考文章：https://towardsdatascience.com/weightinitialization-techniques-in-neural-networks-26c649eb3b78 。

2. 反向传播算法

从架构角度看，神经网络能出色地混合示例信号并将其转化为新特征，以逼近复杂的非线性函数（即在特征空间中无法用直线表示的函数）。神经网络可作为通用逼近器，能推测任何目标函数。不过，这一特性包含两个方面：一是对复杂函数进行建模的能力（表示能力），二是从数据中有效学习的能力。

大脑中的学习是基于神经元之间突触的形成和修改，这是通过试错经验接收刺激而实现的。神经网络通过一种名为反向传播的数学公式来复制这一过程。

自20世纪70年代首次出现以来，反向传播算法经历了多次改进。每次神经网络学习过程的改进都催生了新的应用，并重新唤起了人们对该技术的兴趣。当前的深度学习革命，即20世纪90年代初被弃用的神经网络的复兴，正是神经网络从错误中学习方式取得关键进展的结果。

在线性回归中，为每个参数（β系数向量）找到更新规则很直接，可以使用梯度下降法或