hsnsnxlx的博客

原创 基于Pytorch的Transformer各个模块手动实现

Multi-Head Attention（多头注意力）是 Transformer 模型中的另一个重要组件，它扩展了标准的缩放点积注意力机制，以捕捉不同的注意力信息。Position-wise Feed-Forward Networks 是 Transformer 模型中的一个前馈神经网络层，用于对每个位置的表示进行非线性变换。Scaled Dot-Product Attention 是 Transformer 模型中的一种注意力机制，用于计算输入序列中不同位置之间的相关性权重。