概述
常用术语
通用术语
通道(Channel):通常深度学习模型的输入数据可以有多个通道。比如图像的RGB通道。自然语言数据也可以具有多个通道,例如以不同类型的嵌入的形式。
经验误差(empirical error):也叫训练误差(training error),模型在训练集上的误差。
泛化误差(generalization error):模型在新样本集(测试集)上的误差称为“泛化误差”。
欠拟合:在训练集以及测试集上同时具有较高的误差,此时模型的偏差较大;
过拟合:在训练集上具有较低的误差,在测试集上具有较高的误差,此时模型的方差较大,泛化能力较差。
鲁棒性:可以理解为模型抗风险的能力,也就是对异常数据的处理能力,不会因为某几个异常数据对算法产生巨大影响。
前向传播(foward propagation, FP):作用于每一层的输入,通过逐层计算得到输出结果。
反向传播(backward propagation, BP):作用于网络的输出,通过计算梯度由深到浅更新网络参数。
超参数: 超参数是在模型开始学