深度学习基础（4）——CNN，RNN，GAN中常用术语及概念汇总

概述

常用术语

通用术语

通道（Channel）:通常深度学习模型的输入数据可以有多个通道。比如图像的RGB通道。自然语言数据也可以具有多个通道，例如以不同类型的嵌入的形式。

经验误差（empirical error）：也叫训练误差（training error），模型在训练集上的误差。

泛化误差（generalization error）：模型在新样本集（测试集）上的误差称为“泛化误差”。

欠拟合：在训练集以及测试集上同时具有较高的误差，此时模型的偏差较大；

过拟合：在训练集上具有较低的误差，在测试集上具有较高的误差，此时模型的方差较大，泛化能力较差。

鲁棒性：可以理解为模型抗风险的能力，也就是对异常数据的处理能力，不会因为某几个异常数据对算法产生巨大影响。

前向传播（foward propagation, FP）：作用于每一层的输入，通过逐层计算得到输出结果。

反向传播（backward propagation, BP）：作用于网络的输出，通过计算梯度由深到浅更新网络参数。

超参数: 超参数是在模型开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。

Batch_Size：每次训练的样本数量，选择合适的样本数量可以提高训练的速度和稳定性。

嵌入（Embedding）：指的是是将输入映射到向量空间中。比如词嵌入和图嵌入。通过将图像及其文本描述映射到公共嵌入