【学习】从零入门Transformer

最新推荐文章于 2025-05-23 20:15:51 发布
原创 最新推荐文章于 2025-05-23 20:15:51 发布 · 2.2k 阅读 · 12 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Transformer

本文详细介绍了从零开始学习Transformer的过程，包括RNN在NLP中的应用、Seq2Seq模型及其与Attention的结合，重点解析Transformer的Encoder和Decoder结构，以及其工作流程。通过理解word embedding、Position encoding、Self-Attention和Feed forward neural network，深入掌握Transformer的核心原理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

本文记录一下从0入门Transformer的过程

https://zhuanlan.zhihu.com/p/31547842

Transformer之前

说到Transformer，就离不开NLP，就离不开Seq2Seq，毕竟transformer一开始也是和Seq2Seq结合用的。

RNN & NLP

这里先放两个RNN在NLP中的应用，了解一下RNN

1、根据人名判断是哪个国家的，也就是单词分类

RNN收到一个字母，输出更新的隐藏状态和预测的国家分类，到了最后一个字母之后，把国家分类拿出来得到最终的预测。这就是Sequence到一个类的任务。

2、根据国家，生成名字

RNN收到一个字母，输出更新的隐藏状态和预测下一个字母。直到输出终止符，将之前的所有字母合起来，就是最终生成的名字。这是一个状态到Sequence的任务

Seq2Seq

文章：Sequence to Sequence Learning with Neural Networks

其实有了上面两个任务的基础，就理解Seq2Seq是怎么做的了。对输入Seq进行编码，把其中每个单词或者每个字母按顺序输入到RNN中，最终可以得到一个隐藏状态，这个RNN就叫Encoder。然后用这个隐藏状态输入到Decoder中，按照生成名字的方法依次输出预测的单词或者字母，生成输出的Seq。

在这里插入图片描述
那么这就有个问题：从第一个词到最后一个词，走了这么久，隐藏状态到底能不能记得住这么多东西呢？能不能有效的找到输出Seq中第j个词到底和输入Seq中的哪个词关系比较大呢？

这就引出了Attention，目的就是学习输出Seq和输入Seq之间的关系，输出Seq不同位置的词是与输入Seq的某些词有关的，只需要关注这些词即可。

Seq2Seq + Attention

仍然是从代码入手，推荐Pytorch的教程。

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Transformer】小白入门指南
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-07 1601
Transformer是起源于NLP领域，然后在图像、视频、声音等领域都得到了广泛应用的基础架构，是继MLP、CNN、RNN’后的公认的第四大基础模型结构。Transformer技术凭借其卓越的表现和广泛的应用前景，已经成为了机器学习领域的一个关键技术。自从2017年Google提出》一文以来，Transformer架构的出现彻底改变了机器学习和深度学习的格局，尤其是在处理语言模型、生成模型以及多模态学习等领域，Transformer几乎成为了不可或缺的技术基石。
AIGC实战——Transformer模型
盼小辉丶的博客
03-25 7488
GPT 模型是一个解码器 Transformer，它逐字符地生成文本字符串，并使用因果掩码只关注输入字符串中的前一个单词。另一些编码器 Transformer，不使用因果掩码，而是关注整个输入字符串以提取有意义的上下文表示。对于一些其他任务，如语言翻译，可以使用编码器-解码器 Transformer，将一个文本字符串翻译为另一个文本字符串，这类模型包含编码器 Transformer 块和解码器 Transformer 块。
【从 0 开始学习 Transformer】上：搭建与理解
我们胃口太大几千几百万都装得下
12-02 1840
1. 前言 2. 参考代码、文章及部分插图来源 3. 在开始前的推荐了解 3.1. 循环神经网络（RNN） 3.2. 基于编码-解码（encoder-decoder）的序列到序列（sequence2sequence）模型 3.3. 注意力机制 3.4. 词嵌入（Word Embedding） 4. 初探 Transformer 5. 基础算法和模块 5.1. 位置编码（Position...
Transformer 初学者入门
LuciferXD的博客
02-06 2460
Attention is all you need 文章概述以及Transformer入门内容，通俗易懂
大模型必备基础知识之从零开始构建 Transformer 模型，一步步带你学懂transformer
最新发布
2401_85373691的博客
05-23 758
这篇由Brandon Rohrer撰写的技术文档《Transformers from Scratch》系统性地拆解了Transformer模型的核心原理和实现细节，通过层层递进的数学推导和可视化类比，揭示了Transformer如何通过矩阵运算的巧妙组合实现强大的序列建模能力，为理解现代大语言模型奠定了扎实的理论基础。
从0开始transformer代码理解（附带调试和个人原理理解）
wq2571931803的博客
07-03 1239
就是计算损失…，用测试集测试，将返回的掩码进行展示为什么返回掩码集合就是以下这样。
Transformer入门
weixin_44294645的博客
04-05 2614
transformer快速入门
Transformers from Scratch（从零开始的Transformers ）翻译学习【更新中】
weixin_44355919的博客
09-10 2284
Transformers from Scratch（从零开始的Transformers ）
transformer快速入门教程PDF
12-31
我们尽可能限制了要学习的面向对象抽象的类的数量，实际上几乎没有抽象，每个模型只需要使用三个标准类:配置、模型和tokenizer, ?所有这些类都可以通过使用公共的from_pretrai ned()实例化方法从预训练实例以简单...
Transformer代码简单入门
u012374012的专栏
07-03 764
多头自注意力机制# 前馈神经网络return srcreturn tgtreturn src。
Transformer从零详细解读(可能是你见过最通俗易懂的讲解)
不甘平凡的码农
02-06 3600
Transformer是2017年火起来的。
Transformer入门基础知识
2401_82469710的博客
04-29 1097
Transformer是一种面向机器翻译领域的Seq2Seq 编码器-解码器模型，即输入是一种语言，输出是另一种语言。本文将介绍一下Transformer入门的一些必备知识。
Transformer模型学习，零基础入门到精通，收藏这篇就够了
leah126的博客
10-10 1210
2017 年，Google 在论文 《Attention is All you need》 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。本文将从模型总体结构、自注意力机制（Self-Attention）详解、多头注意力机制这三部分来介绍Transformer的具体实现。图一 Transformer 模型架构图一的左边是编码器，将输入部分首先进行。
Transformer小白入门
qq_44935334的博客
09-17 1225
Encoder-Decoder是一个模型框架，可以用不同的模型来实现，目前较多的应该就是seq2seq和transformer。其广泛应用于自然语言处理、图像处理、语音识别等领域在数学上，注意力函数可以被定义为一个映射，该映射接受一个查询（Query）和一组键值对（Key-Value pairs），然后输出一个聚合后的信息，通常称为注意力输出（也叫注意力分数）注意力(Q, K, V) = 聚合(权重 * V)注意力机制是通过Query与Key的注意力汇聚（给定一个Query，计算Query与Key。
Transformer入门（一）——结构
yeen123的博客
06-02 9049
Transformer入门介绍篇，分别介绍了Transformer的总体结构与每个模块的实现原理
深度学习从零开始按照
03-21
<think>好的，用户想了解如何从零开始学习深度学习的入门教程和学习路径。首先，我需要整理出一个结构清晰的步骤，帮助用户逐步掌握深度学习的基础知识和实践技能。 根据用户提供的引用内容，引用[1]提到了理论学习、实践为主和保持学习的重要性，引用[2]则涉及超参数设置、卷积核初始化等细节。需要将这些信息整合到回答中，并确保符合用户的要求，比如使用中文、正确使用LaTeX格式，以及生成相关问题。 首先，理论学习部分需要涵盖数学基础和核心概念。数学基础包括线性代数、微积分和概率统计，这些是理解深度学习算法的关键。例如，线性代数中的矩阵乘法可以用$WX + b$表示，反向传播算法中的梯度下降公式是$\theta_{t+1} = \theta_t - \eta \nabla J(\theta_t)$。需要确保这些公式正确使用$$...$$或$...$格式。 接下来是核心概念，如神经网络结构、激活函数（如ReLU：$f(x) = \max(0, x)$）、损失函数、优化算法等。这部分需要结合引用[1]提到的反向传播和梯度下降，以及引用[2]中的超参数设置，比如卷积核初始化方法。 然后是实践部分，建议用户选择主流框架如TensorFlow或PyTorch，从简单的项目入手，逐步构建复杂模型。引用[1]中提到从小型项目开始，因此可以推荐MNIST手写数字识别作为第一个项目，之后尝试CNN处理图像数据，如CIFAR-10数据集。还要强调数据处理的重要性，包括标准化（$\frac{x - \mu}{\sigma}$）和数据增强技术。 持续学习方面，需要建议用户阅读经典论文，如AlexNet、ResNet，并参与开源项目。引用[1]提到保持学习新技术和新论文的重要性，这部分可以结合引用[2]中的padding和stride设置，说明实际应用中需要不断调整参数。 工具与环境部分，推荐使用Python、Jupyter Notebook、GPU加速等，确保用户有合适的开发环境。同时，调试和优化模型时要注意过拟合问题，可以通过交叉验证（如k-fold）和正则化（如L2正则项：$\lambda \sum w_i^2$）来解决。 最后，生成的相关问题需要围绕学习路径的各个方面，如数学基础的必要性、选择框架的建议、调试方法、经典论文推荐和避免过拟合的策略。这些问题要自然引出，帮助用户进一步深入学习的各个方面。 检查整个回答是否符合格式要求，所有数学公式是否正确使用LaTeX，引用标识是否正确添加，以及问题是否相关且有意义。确保没有使用任何Markdown格式，语言口语化，结构清晰，分步骤说明，让用户能够循序渐进地学习。</think>### 深度学习从零开始学习路径 #### 一、理论基础构建 1. **数学基础** - **线性代数**：矩阵运算（如$WX + b$）、特征分解等是理解神经网络结构的基础。 - **微积分**：梯度下降算法依赖偏导数，例如反向传播中的链式法则$\frac{\partial L}{\partial w} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial w}$。 - **概率统计**：贝叶斯理论、高斯分布（如卷积核初始化[^2]）用于模型不确定性分析和参数设置。 2. **核心概念** - **神经网络结构**：输入层、隐藏层、输出层的设计，激活函数（如ReLU：$f(x) = \max(0, x)$）。 - **损失函数**：交叉熵损失（$L = -\sum y_i \log(p_i)$）、均方误差（MSE）等。 - **优化算法**：随机梯度下降（SGD）、Adam优化器的数学形式$\theta_{t+1} = \theta_t - \eta \nabla J(\theta_t)$[^1]。 #### 二、实践技能培养 1. **框架选择与入门** - **TensorFlow/PyTorch**：从简单全连接网络开始，实现MNIST手写数字识别。 - **代码示例**： ```python import tensorflow as tf model = tf.keras.Sequential([ tf.keras.layers.Dense(128, activation='relu', input_shape=(784,)), tf.keras.layers.Dense(10, activation='softmax') ]) model.compile(optimizer='adam', loss='sparse_categorical_crossentropy') ``` 2. **项目进阶** - **图像分类**：使用CNN处理CIFAR-10数据集，注意卷积核初始化方法（如高斯分布）和padding策略。 - **自然语言处理**：RNN或Transformer实现文本生成，需掌握词嵌入（如Word2Vec）。 3. **数据处理技巧** - **标准化**：对输入数据做归一化处理$\frac{x - \mu}{\sigma}$。 - **数据增强**：通过旋转、裁剪扩充图像数据集。 #### 三、持续学习与优化 1. **论文与前沿技术** - 精读经典论文（如AlexNet、ResNet），复现实验并对比结果。 - 关注新技术如注意力机制、扩散模型。 2. **模型调参经验** - **超参数搜索**：学习率（$\eta$）、批量大小对训练效果的影响。 - **正则化**：Dropout、L2正则项（$\lambda \sum w_i^2$）防止过拟合。 3. **工具与环境** - 使用Jupyter Notebook快速验证想法，配置GPU加速训练（如CUDA）。 - 掌握模型可视化工具（如TensorBoard）。 #### 四、常见问题与解决 - **梯度消失**：使用Batch Normalization或残差连接。 - **过拟合**：早停法（Early Stopping）、增加训练数据。 - **训练速度慢**：分布式训练、混合精度计算。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值