WBingJ的博客

Transformer 中的每个 Block 结构较为复杂，不仅包括 self-attention 层和全连接（FC）层，还结合了 residual connections 和 layer normalization 技术，以提高模型性能和训练稳定性。

I 是self -attention 的input，一串vector；self-attention 的运作机制其实就是一连串的矩阵乘法。在这一系列矩阵中，只有矩阵W q , W k , W v 是未知的，是需要通过训练学习的参数。

函数的类型、如何寻找函数、定义含未知参数的函数、定义一个损失函数(Loss)、优化 Optimization梯度下降 Gradient Descent

在SGD中，模型的参数向负梯度方向更新，使得损失函数的值逐渐减少。具体来说，每个训练样本的误差对每个参数的偏导数被计算，并且应用于参数的当前值以更新它。在迭代过程中，每次更新后，下一个样本的误差被计算，参数再次更新。Adam（Adaptive Moment Estimation）是一种自适应学习率的优化算法，是在动量梯度下降和自适应学习率算法的基础上发展而来的。总的来说，Adam算法是一种高效、自适应的优化算法，在各类深度学习问题中表现出色，被广泛应用。能够处理稀疏梯度，对参数的更新不受梯度的大小影响。

如何在Windows中查看显卡型号、CUDA简介、管理Python环境、Jupyter Notebook的安装与配置、PyTorch数据加载入门

其实局部最小点（local minima）并没有那么常见，大多数情况下，卡在一个鞍点（saddle point）。

张量（Tensor）是深度学习和机器学习中一个非常基础且重要的概念。在数学上，张量可以被看作是向量和矩阵的泛化。简单来说，张量是一种，它可以表示标量（0维）、向量（1维）、矩阵（2维）以及更高维度的数据结构。

在没有平行运算的情况下，Small Batch比 Large Batch更有效率；在有平行运算的情况下，Small Batch与Large Batch运算时间没有太大差距，除非大的超出一定界限；在一个epoch时间内，Large Batch比Small Batch更快，Large Batch更有效率；Small Batch比较陡，Large Batch比较稳定；比较noisy的batch size比比较stable 的batch size在训练和测试时占有优势。

机器学习就是在寻找函数。主要方法包括监督学习、自监督学习、生成对抗网络（GANs，无监督学习方法）和强化学习（通过与环境的交互学习最优行为策略）。此外，还需要关注异常检测、可解释AI、模型攻击、领域自适应、网络压缩、终身学习和元学习等重要领域。

训练集如果loss很低，但测试集loss高，且不太可能是mismatch的情况，说明很可能是过拟合。方法：validation 数据集划分（N-flod Cross法划分， “交叉验证”取平均值）介绍了当我们遇到模型效果（loss）不理想时，进行模型优化的分析方法和思路。训练集如果loss很低，但测试集loss高，则可以分析 训练集和测试集的区别。加了神经元，没有优化效果：加了神经元，训练集和测试集的loss依然很高。- 训练集和测试集 统计学数据分布不匹配（mismatch）