qq1406433326

优化和深度学习优化算法的目标函数通常是基于训练数据集的损失函数，因此优化的目标是减少训练误差。深度学习中的优化挑战1.局部最小值深度学习模型的目标函数通常有许多局部最优解。当优化问题的数值解接近局部最优值时，随着目标函数解的梯度接近或变为零，通过最终迭代获得的数值解可能仅使目标函数局部最优，而不是全局最优。只有一定程度的噪声可能会使参数超出局部最小值。事实上，这是小批量随机梯度下降的有利特性之一，在这种情况下，小批量上梯度的自然变化能够将参数从局部极小值中移出。2.鞍点鞍点（saddle po

注意力提示因此，“是否包含自主性提示”将注意力机制与全连接层或汇聚层区别开来。 在注意力机制的背景下，我们将自主性提示称为查询（query）。 给定任何查询，注意力机制通过注意力汇聚（attention pooling） 将选择引导至感官输入（sensory inputs，例如中间特征表示）。 在注意力机制中，这些感官输入被称为值（value）。 更通俗的解释，每个值都与一个键（key）配对， 这可以想象为感官输入的非自主提示。模型如上，进行了汇聚。注意力汇聚：Nadaraya-Watson 核回归

【HuggingFace学习笔记】Datasets的load部分笔记和报错记录：huggingface datasets load_metric connecterror cannot reach