Febu4-优快云博客

原创 deeplearning-学习率调度器

摘要：本文介绍了深度学习中的学习率调度器及其应用。学习率调度器通过预设方案动态调整学习率，主要包括衰减(decay)和热身(warm-up)两种方法。衰减使用余弦下降逐步减小学习率，热身则在训练初期逐步提高学习率以提高稳定性。文章还对比了学习率调度器与AdamW优化器的区别，并提供了完整的PyTorch实现代码，展示了如何通过SequentialLR组合多种调度策略。实验结果表明，该方法能有效控制学习率变化，提升模型训练效果。

2026-01-03 10:29:15 581

原创解析transformer——6: 组装Encode&Decode

本文介绍了Transformer模型中关键组件的实现改进，主要包括：1）修改MyMultiHeadAttention类以支持Encode和Decode层的不同输入需求（q来自Decode，k/v来自Encode）；2）Encode模块通过堆叠多个EncodeBlock处理输入序列；3）Decode模块利用Encode输出作为k/v输入，并采用右移目标序列实现自回归生成。代码实现了嵌入层、位置编码和注意力机制等核心组件，支持序列到序列的Transformer架构。

2025-10-20 00:27:35 1209

原创解析transformer——5:Feed Forward，前馈网络

摘要本文介绍了Transformer中的前馈网络(Feed Forward)实现。该网络存在于编码器和解码器模块中，是一个简单的全连接神经网络，维度为2048，使用ReLU激活函数。文章提供了完整的PyTorch实现代码，包括Embedding层、位置编码(Positional Encoding)、多头注意力机制(MultiHeadAttention)、Add&Norm层以及前馈网络(FeedForward)的实现。其中FeedForward类包含一个升维的全连接层、ReLU激活函数和降维的全连接

2025-10-19 13:25:43 645

原创解析transformer——4: Add&Norm，残差连接与layernorm

本文介绍了Transformer中的Add&Norm模块，详细解析了归一化、LayerNorm与BatchNorm的区别以及残差连接的作用。归一化通过缩放数据解决梯度下降问题；LayerNorm按样本计算均值和方差，适合序列模型；残差连接则用于构建深层网络避免梯度消失。文章还提供了代码实现，展示如何在PyTorch中应用这些技术。

2025-10-19 13:16:51 1226

原创解析transformer——3:Multi-Head Attention

本文介绍了注意力机制及其在Transformer中的应用。主要内容包括：注意力机制分类：加性（使用前馈网络学习匹配关系）和点积（Transformer采用）两种形式 Transformer中的注意力机制：多头部注意力(Multi-Head Attention)结构缩放点积注意力公式及实现细节掩码注意力(Masked Attention)的作用和实现方法代码实现：高维矩阵乘法运算规则基于PyTorch的Multi-Head Attention实现要点（维度变换处理）包含位置编码的完整实现示例

2025-10-17 21:50:14 1240

原创解析transformer——2:Positional Encoding

本文介绍了Transformer中的位置编码(Positional Encoding)机制。位置编码通过正弦和余弦函数为每个token位置生成独特的嵌入向量，解决了自注意力机制无法处理序列顺序的问题。文章详细说明了位置编码的数学公式、实现原理和代码示例，并对比了不同位置编码方式的优缺点。重点分析了Transformer采用周期性函数编码的原因：既能保持语义信息，又能表达相对位置关系。最后提供了基于PyTorch的位置编码实现代码，包含维度处理、缓冲区和设备转换等关键细节。

2025-10-15 15:03:18 1179

原创解析transformer——1: Embedding层

本文解析了Transformer中的Embedding层，介绍了三种自然语言表示方法：同义词字典、基于计数的方式和基于推理的Embedding。重点讨论了Transformer中Input/Output Embedding层的实现，包括参数矩阵E的共享和乘以√d_model的操作。最后提供了基于PyTorch的Embedding层实现代码，展示了如何继承nn.Embedding类并添加√d_model的缩放操作。

2025-10-12 16:57:22 546