zs16113的博客

表示将n个。

在深度学习中，注意力机制（Attention Mechanism）已经成为一种重要的技术。意力机制通过动态调整模型的注意力权重，来突出重要信息，忽略不重要的信息，大大提高了模型的效果注意力机制的基本思想是：在处理输入序列时，模型可以根据当前的上下文动态地选择关注哪些部分。具体来说，注意力机制通过计算查询向量（Query）、键向量（Key）之间的相似度来确定注意力权重，然后对值向量（Value）进行加权求和，得到最终的输出。（当K=V时，就是普通的注意力机制）

Batch Normalization（批量归一化）是一种用于加速深度神经网络训练并提高其稳定性的技术。它通过在对数据进行归一化处理，使得每一层的输入分布更加稳定，从而加速训练过程并提高模型性能。对于每个batch数据，计算其均值和方差使用计算得到的均值和方差对每个数据点进行归一化，使其均值为0、方差为1，，其中是一个小常数，防止除零错误为了保留模型的表达能力，对归一化后的数据进行缩放和平移操作，其中和是可学习的参数，分别用于缩放和平移。

逻辑回归（Logistic Regression）是一种广泛应用于二分类问题（也可扩展到多分类）的线性模型。

K-means算法步骤。

AUC（Area Under ROC Curve），是ROC曲线下的面积。如果ROC面积越大，说明曲线越往左上角靠过去。那么对于任意截断点，(FPR，TPR)坐标点越往左上角（0,1）靠，说明FPR较小趋于0（在所有真实负样本中，基本没有预测为正的样本），TRP较大趋于1（在所有真实正样本中，基本全都是预测为正的样本）。并且上述是对于任意截断点来说的，很明显，那就是分类器对正样本的打分基本要大于负样本的打分。AUC越大，说明分类器越可能把正样本排在前面，衡量的是一种排序的性能。