weixin_50232758的博客

表明该样本被分类正确的概率越大，易区分样本，则其对应的loss所占的权重更低，反之则是难分类样本其loss权重更大。偏差越大，KL散度值越大，当两者分布相等时，KL散度为零，同时目标分布确定时。也是确定的，因此通过KL散度进行优化等价于通过交叉熵进行优化。同理，接入对于一个三分类（多分类）任务，一个样本的预测值为。），监督学习的目标是尽可能使得。表示模型输出分布（可以理解为。以二分类为例：这里有1个样本，表示为目标分布（可以理解为。函数，通常在机器学习中，，从公式中可以看到，当。表示预测为1的概率值，

使用下三角矩阵进行mask。

在一些领域，将嵌入层和输出层的权重绑定，以达到减少参数量并使得相同token保持统一的embedding空间的作用。可以看到，在这个例子中，使用 weight-tying 后 loss 收敛更快。的权重矩阵的尺寸是10*3，即。的权重矩阵大小相等。

Scheduled Sampling:在训练时不仅使用gruth训练，为了减小expourse bias需要加入一些错误信息，但这样会破坏transformer的并行性。在需要确定性回答的模型中（语音翻译等）beam search效果不错，但在翻译系统，问答系统中效果很差。在一些任务中需要直接复制某段文字，如人名地名等。

深度学习实验常用辅助算法1、高斯混合模型2、卡尔曼滤波3、匈牙利算法1、高斯混合模型2、卡尔曼滤波3、匈牙利算法

数组原地操作方法

深度学习训练过程中模型参数的保存与加载