Transformer（未完成）

最新推荐文章于 2025-12-22 18:58:56 发布
原创 最新推荐文章于 2025-12-22 18:58:56 发布 · 613 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习

本文详细介绍了Transformer模型，这是一种序列到序列(seq2seq)模型，用于解决多种问题，如语音识别和翻译等。文章解释了seq2seq模型的工作原理，包括encoder和decoder两大部分，并深入探讨了Transformer中的block结构，包括self-attention机制、全连接层、残差链接和层规范化等关键组件。

Transformer

是一个sequence to sequence(seq2seq)的模型

即是一个输入是一个sequence, 输出是一个sequence. 并且输出的sequence的长度由模型来决定.

如语音辨识: 输入是声音信号, 输出是语音识别的文字. 或者翻译: 输入一种语言输出另一种语言.

虽然seq2seq可以解决各式各样的的问题, 但是不见得是最好用的. 针对问题客制化模型会更好, 但是seq2seq还是很厉害的.

很多问题虽然并不觉得是seq2seq的model的问题但是也可以用它硬解.

比如multi-label classification

一个文章可以归类到很多类. seq2seq输入文章, 输出model认为的类别.

Seq2seq 结构!

两大块:encoder, decoder. input一个sequence, 由encoder处理, 处理好的结果给decoder, 然后决定要输出什么样的结果.

seq2seq 的任务就是给一排向量输出另外一排向量.

encoder

encoder里面有很多block, 用来实现不同的功能, 每个block都需要多个layer来实现他们需要的功能.

每个block里面都是输入一个向量, 输出一个向量.

在transformer中 每个block的流程大致是:

先对输入的一排向量或者叫sequence做self-attention.
然后将得到的一组向量再输入给FC fully connected network中,输出一排向量, 这一排就是整个block的输出.

细致来说: transformer对self-attention的应用还有变化:

  1. 会将self-attention输出的向量, 与对应的输入向量相加得到真正的输出. 这样的架构叫做residual connection 残差链接. 得到residual之后在进行normalization(不是batch normalization, 而是layer normalization)

layer normalization: 输入一个向量, 对这个向量的所有dimension维度计算平均值mean m 和标准差 standard variance σ\sigmaσ.
然后normalize: xi′=xi−mσx'_i = \frac{x_i - m}{\sigma}xi′​=σxi​−m​

  1. 得到layer normalization之后的输出才是FC的输入. 而FC也同样经过residual的处理. 同样将FC的input和output加起来. 然后在layer normalization.
  2. 输出上一步的结果

这就是一个block的内容.

AIGC实战——GPT(Generative Pre-trained Transformer)
盼小辉丶的博客
03-11 1万+
注意力机制能够用于构建先进的文本生成模型，Transformer 是用于序列建模的强大神经网络，该神经网络不需要复杂的循环或卷积架构，而只依赖于注意力机制。这种方法克服了循环神经网络难以并行化的缺陷。Transformers 高度可并行化运算，能够在大规模数据集上进行训练。在本节中，我们将学习文本生成模型如何利用 Transformer 架构提高文本性能，并介绍自回归模型 GPT (Generative Pre-Trained transformer)。
机器学习中的 Transformer 简介（第 1 部分）
gongdiwudu的专栏
12-10 1656
Transformer 正在席卷自然语言处理领域。但它们的架构相对复杂，需要花费相当长的时间才能充分理解它们。这就是为什么我们在本文中研究了 Vaswani 等人在 2017 年的一篇论文中提出的 vanilla Transformer 架构。
自然语言处理Transformer模型最详细讲解（图解版）
热门推荐
优快云 精品推荐
10-16 4万+
近几年NLP较为流行的两大模型分别为Transformer和Bert，其中Transformer由论文《Attention is All You Need》提出。该模型由谷歌团队开发，Transformer是不同与传统RNN和CNN两大主流结构，它的内部是采用自注意力机制模块。
Transfromer解读笔记
XINGBAIDE的博客
10-14 686
Transformer学习笔记
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 6603
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
配置Trae的MCP保姆级教程
m0_67581821的博客
05-10 4186
配置Trae的MCP主要就是配置安装Node.js、UVX 和添加token
Transformer【第五章】
多思考🤔～
09-08 563
Transformer 是一个 Sequence-to-sequence 的 Model（缩写 Seq2seq） input 是 一个 sequence，output 是一个 sequence，但是不知道多长，由机器自己决定 output 的长度。 应用：语音辨识，机器翻译，语音翻译。一般的 Seq2seq model 可以分为两块：Encoder + Decoder input 一个 sequence，由 Encoder 负责处理这个 sequence，再把处理好的结果丢给 Decoder，由 Decod
Transformer原理与代码实现
十一月廿七风雨大作
01-15 1万+
在通过线性层学习QKV向量之后，Q和K经历点积矩阵乘法以产生得分矩阵：得分矩阵决定了一个单词在其他单词上的关注程度。因此每个单词都有一个与时间步长中的其他单词相对应的分数。分数越高，注意力越集中。这就是Q映射到K的方式：然后，分数通过除以Q和K的维度的平方根而缩小。这是为了获得更稳定的数据，否则可能会产生爆炸效果。下一步，使用softmax来得到注意力权重，返回0到1之间的概率值。通过做softmax，高分得到提高，低分受到抑制。这样模型可以决定对哪些单词的注意力更高哪些单词的注意力比较低。
Transformer
weixin_63510030的博客
05-07 1000
仅是个人笔记。
Transformer总体架构
qq_56246012的博客
10-12 4159
本文本主要介绍了Transformer总体架构，并使用Transformer模型架构处理从一种语言文本到另⼀种语言文本的翻译工作，注释超详细，Transformer太难了。
自然语言处理之文本生成：Transformer：Transformer解码器详解
zhubeibei168的博客
05-25 942
Transformer模型由Vaswani等人在2017年提出，它彻底改变了序列到序列（Seq2Seq）模型的设计。与传统的RNN和LSTM不同，Transformer模型完全基于自注意力机制（Self-Attention Mechanism），这使得模型能够并行处理序列中的所有位置，从而大大提高了训练速度和效率。Transformer解码器在文本摘要生成中，根据编码器对长文本的理解，生成简洁的摘要。
Transform结构详解 + 手撕版本
qq_43446879的博客
05-15 8581
Transform 下图是Transform 的整体架构，由decoder和encoder构成，下面分部分对Transform的结构进行分析 (下图来自于论文Attention is all you need)。 (论文链接https://arxiv.org/pdf/2102.10772.pdf) 1.Encoder Encoder 主要是用来对句子的输入进行编码，下面用 ”我爱学习“ 这句话为例子解析编码过程。 首先是以词向量的形式进行输入，并且这里的词向量加入了positional encodin
【 深度学习 】生成对抗网络 GAN
PANSS__的博客
12-22 727
转置卷积是一种上采样操作（考点），用于将小尺寸的特征图扩展为大尺寸的特征图。
01.需要了解的五种机器学习类型
AI算法蒋同学的博客
12-18 693
ML 是计算机科学、[数据科学]和[人工智能] (AI) 的子集，它使系统能够从数据中学习和改进，而无需额外的编程干预。ML 模型不依赖用于性能优化的显示指令，而是采用算法和统计模型，以根据数据模式和推论来部署任务。换句话说，ML 利用输入数据来预测输出，并随着新数据的出现不断更新输出。例如，在零售网站上，机器学习算法通过根据购买历史提出建议来影响消费者的购买决策。
【Python学习打卡-Day23】从重复到重用：用Pipeline和ColumnTransformer重构你的机器学习工作流
2301_76812716的博客
12-18 664
文章摘要 本文介绍了如何使用Scikit-learn的Pipeline工具优化机器学习工作流。Pipeline通过将数据预处理和模型训练封装成流水线，带来三大优势：代码简洁、防止数据泄露和简化超参数搜索。文章对比了传统手工预处理与Pipeline自动化处理的区别，详细讲解了转换器(Transformer)和估计器(Estimator)的核心概念，并以信贷违约数据集为例，展示了如何用ColumnTransformer对不同类型特征进行针对性处理，最终构建完整的Pipeline流程。这种工程化方法显著提升了代码
03.统计学机器学习
AI算法蒋同学的博客
12-18 824
本文探讨了机器学习中的统计思维基础，指出机器学习本质上是建立在统计学和概率论之上的统计过程。文章从三个核心概念展开：1）统计学作为从数据中提取洞察的科学，为机器学习提供数学基础；2）概率论作为量化不确定性的工具，是建模预测不确定性的关键；3）概率分布作为描述数据行为的数学函数，支撑着误差建模、损失函数设计等机器学习核心环节。文章强调，理解这些统计概念对于构建可靠、可解释的AI系统至关重要，它们是现代机器学习（从简单回归到复杂神经网络）的理论支柱。通过介绍描述性统计指标、概率基本概念和常见概率分布，为读者提供
【氮化镓】p-GaN HEMTs中栅极可靠性的负激活能现象
最新发布
荷塘阅色
12-22 31
基于电气特性表征、光谱分辨的电致发光测量以及退化测试相结合的方法，研究了p-GaN肖特基栅高电子迁移率晶体管（HEMTs）中栅极可靠性的负激活能现象。实验结果表明，栅极漏电流源于三种不同机制，且高温下器件寿命延长是由于空穴注入和复合增加，减少了发生雪崩倍增的电子数量，从而推迟了击穿。该研究结果对提高GaN基功率器件的可靠性和优化其在高温环境中的应用具有重要意义。
机器学习（决策树）
lyx2870657588的博客
12-18 1599
决策树是一种有监督学习算法，通过构建分类规则对新样本进行预测。主要算法包括ID3（信息增益）、C4.5（信息增益率）和CART（基尼系数）。决策树通过剪枝防止过拟合，回归树模型则用于解决回归问题。随机森林作为集成学习方法，通过多棵决策树的组合提高性能，具有抗噪声能力强、不易过拟合等优点，但计算成本较高。AUC-ROC曲线是评估分类模型性能的重要指标。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值