神经网络之网络基础第3关：常见学习方法

任务描述

本关任务：通过学习神经网络常见的学习方法，完成相应选择题。

相关知识

为了完成本关任务，你需要掌握：

1. 误差修正学习；
2. 赫布学习法则；
3. 最小均方规则。

误差修正学习

误差修正学习也叫 Delta 学习规则 。 误差修正学习通常与监督学习一起使用，是将系统输出与期望输出值进行比较，并使用该误差来改进模型参数 。最直接的方法是可以使用误差值来调整权值，使用诸如反向传播算法的方式 。 误差修正学习方法尝试在每次训练迭代时最小化该误差信号 。 采用误差修正学习的最流行的学习算法是反向传播算法。 神经元的作用是基于输入向量X=(x1​,x2​,x3​,...,xn​)产生相应的输出y。训练样本是一系列己知的 x和y^​数据集，其中y^​表示预期的正确输出。我们可以使用如下公式描述实际输出和预期输出之间的误差：

E=21​(y−y^​)2

此处使用的误差函数也可以使用其他的误差函数代替。学习训练的过程是减少错误E， 直至趋近于 0 为最佳。 神经元的错误通过迭代得到最小值，每次根据当前情况进行一点修正 ， 逐渐找到最小目标函数，这与生物神经元逐渐生长的策略有一定相似度 。我们一般使用的找到最小值的方法是梯度下降，这个算法将在后面进行讲解。

赫布学习法则

赫布理论（ Hebbian Theory ）是一种神经科学理论，提出了在学习