机器学习中的误差和梯度下降

机器学习中的误差

最早接触误差应该是高中数学和物理中，有更加深入的理解是在大学物理实验中，每次做完实验对数据进行处理，都会为此折腾一翻。实际应用是在研究生阶段分析仪器的性能有所应用。下面谈谈机器学习中的误差。

偏差与方差

偏差:指样本上的期望输出与真实标记之间的差距，即模型的精准度
方差:模型在不同训练集学得的函数的输出与期望之间的误差

训练误差与测试误差

训练误差:指模型在训练集上的平均误差
测试误差:指模型在测试集上的平均误差

梯度下降

通俗理解就是对函数求导数，在任意点求的梯度中，朝着梯度下降最快的方向逼近，最终会到达函数的极值点。但这个极值点是否是全局极值点就无法保证了，这需要通过选取梯度下降的步长大小来调整。