m0_49683806的博客

Transformer是一种基于自注意力机制（self-attention）的神经网络模型，用于序列到序列（sequence-to-sequence）任务，如机器翻译和文本摘要。它在2017年由Vaswani等人提出，并在机器翻译任务中取得了显著的性能提升。

自注意力机制（self-attention）是一种用于处理序列数据的注意力机制，最早应用在Transformer模型中。自注意力机制能够在输入序列中建立起各个元素之间的关联性，并根据这些关联性为每个元素分配一个权重。

通过编码器-解码器注意力，解码器可以在生成目标序列的每个位置时，动态地关注与之对应的源语言序列的不同位置。One-hot维度和字典长度有关系。通过堆叠多个相同的解码器层，解码器可以逐步生成目标序列，并在每个解码器层中融合源语言序列的上下文信息和自身的上下文信息。同样的，已翻译的词汇，加入个数是M个，使用One-hot编码，是M个One-hot维度的向量。编码器由多个相同的编码器层（Encoder Layer）堆叠而成，堆叠多个相同的编码器层可以逐渐提取输入序列的高级表示，捕捉输入序列中的语义和上下文信息。

注意力机制通过在解码过程中动态选择性地聚焦（focus）输入序列的特定部分，使模型能够根据输入序列的不同部分调整其关注和权重分配。它允许模型根据当前解码步骤的需要，动态地分配不同的注意力或权重给输入序列的不同位置，以捕捉关键信息。

神经网络中的超参数、超参数的优化方法、搜索策略

深度学习-全连接神经网络-训练过程-欠拟合、过拟合和Dropout- [北邮鲁鹏]

可以使网络自行选择数据分布的均值和方差，γ决定方差，β决定期望。批归一化操作：对这32个输出进行减均值初方差操作；可保证当前神经元的输出值的分布符合0均值1方差。累加训练中每个批次的均值和方差，最后进行平均，用平均后的结果作为预测时的均值和方差。如果每一层的每个神经元进行批归一化，就能解决前向传递过程中的信号消失问题。问题：输出的0均值1方差的正态分布是最有利于网络分类的分布吗？批归一化：对输出值进行归一化，将归一化结果平移缩放作为输出。实际操作中，经常将批归一化放在全连接层之后，非线性激活前。

好的初始化方法可以防止前向传播过程中的信息消失，也可以解决反向传递过程中的梯度消失。激活函数选择双曲正切(ReLU)或者Sigmoid时，建议使用Xaizer初始化方法;激活函数选择ReLY或Leakly ReLU时，推荐使用He初始化方法。

梯度下降法是机器学习中一种常用到的算法，但其本身不是机器学习算法，而是一种求解的最优化算法。主要解决求最小值问题，其基本思想在于不断地逼近最优点，每一步的优化方向就是梯度的方向。

在神经网络中，每个神经元都有一个激活函数，它接受输入信号（来自前一层神经元或输入层）并计算输出。激活函数的作用是对输入信号进行非线性变换，从而为神经网络引入非线性能力，使其能够学习和表示更加复杂的数据模式和关系。