transformer及BERT深入理解

最新推荐文章于 2025-07-06 10:28:21 发布

原创最新推荐文章于 2025-07-06 10:28:21 发布 · 453 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#nlp

因缺少博客内容，无法提炼关键信息生成摘要。

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一种tang两种味

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

深入理解Transformer：BERT和GPT的神奇之旅

AI天才研究院

12-30

1625

自从2017年的“Attention is all you need”一文发表以来，Transformer架构已经成为自然语言处理（NLP）领域的主流架构。Transformer的出现使得深度学习模型从传统的循环神经网络（RNN）和卷积神经网络（CNN）逐渐转向自注意力机制（Self-Attention）和并行计算，从而实现了巨大的性能提升。

Transformer 与 BERT：技术原理及概念，优势和限制比较

AI天才研究院

06-24

6911

Transformer 和 BERT 的工作原理都基于自注意力机制。自注意力机制是指模型可以自动地关注序列中的某些元素，并在处理每个元素时考虑它们之间的关联。这种关联可以通过将序列映射到低维空间，然后使用注意力机制来确定每个元素的重要性。在 Transformer 和 BERT 中，注意力机制用于计算序列中的每个元素的相对重要性，并在处理每个元素时生成一个输出序列。Transformer和BERT是自然语言处理领域中两个非常重要且广泛应用的模型。它们都基于注意力机制，但在一些方面具有不同的优势和限制。

参与评论您还未登录，请先登录后发表或查看评论

Transformer、BERT学习笔记

lch的博客

02-20

530

目录TransformerBERT题目 Transformer BERT 题目 Pre-training of Deep Bidirectional Transformers for Language Understanding 下载链接

手撸Transformer

qq_43042024的博客

11-01

2534

Transformer 关于Transformer的理论学习：Transformer详解本文的源代码地址：Transformer代码地址 Colab实验地址：Colab 0. 架构图 1. 数据准备 import torch import numpy as np import torch.nn as nn import torch.optim as optim import torch.utils.data as Data # Encoder_input Decode

最简单、通俗地理解GPT的Transformer架构：从零开始编写 Transformer

2301_78285120的博客

12-09

548

模型参数 w：w1、w2，b：b，设了初始值# 设置要求计算梯度# 线性回归模型：定义 torch.mm(X, w) + b，mm是矩阵乘法（m：multiply缩写）# 定义损失函数：y_pred=预测值、y=真实值，最简单的平方误差# 定义梯度下降算法：sgd# params是参数（data 是参数值、grad 是梯度值），lr是学习率，batch是数量# 为什么要除batch？因为这个梯度值，是在batch个数据上累加算的# 注意这里更改param时用的param.data。

教你手撸Transformer

dllsy61的博客

08-04

427

一个手把手的教程，教你从零实现Transformer

基于 pytorch 的手写 transformer + tokenizer

大家好~我是SP_FA~

03-17

2930

纯手工分模块实现一个 transformer 模型

Transformer & Bert.zip

06-17

通过学习这些资源，你可以深入理解Transformer的工作原理，掌握如何构建和训练BERT模型，以及如何将它们应用到实际的NLP任务中，例如文本分类、问答系统、情感分析等。对于想在NLP领域提升自己的人来说，这是一个...

【LLM第7篇】transformer跟bert、gpt、大模型的联系

凝眸伏笔的博客

05-29

3463

上一篇讲了transformer的原理，接下来，看看它的衍生物们。Transformer基本架构Transformer模型主要由两部分组成：编码器（Encoder）和解码器（Decoder）。编码器负责处理输入序列，将其转换为一系列内部表示；解码器则根据这些内部表示生成输出序列。编码器和解码器都由多个相同的层堆叠而成，每层包括自注意力机制和全连接前馈两个子层，子层之间采用残差连接和层归一化技术。

精选资源

\自然语言处理大模型面试八股：Transformer与BERT关键技术解析及应用大模型面试中

04-17

使用场景及目标：①帮助读者掌握BERT和Transformer的核心原理，如Self-Attention、Layer Norm、Position Embedding等；②指导读者在大模型训练中如何选择领域数据、缓解通用能力遗忘、选择合适的基座模型进行SFT操作...

从手撸机器翻译学习原味Transformer

weixin_42432619的博客

09-27

388

项目目标：目前Transformer凭借着其强大的性能成为机器翻译的主流方法之一。因此，本项目旨在调研综述目前基于Transformer的机器翻译的现状。然后基于Pytorch框架搭建一个Transformer的Baseline网络，同时在数据方面基于CMN中英文口语双语句对数据集进行汉语分词与词典建立，最后对Transformer进行训练。（由于可以计算资源仅有GTX1050Ti，算力有限，仅能抽取少量数据进行训练，故其泛化能力有限，故本报告更多强调实现原理及其可行性）基于Encode-Dec

从零开始手搓transformer

weixin_48047941的博客

02-14

1531

依照论文自顶向下从零开始实现完整的transformer架构

从0开始实现Transformer

热门推荐

xiaoh_7的博客

07-01

2万+

最近有空，把Transformer的每模块的原理和实现过程仔细看了一遍，记录下来，方便有需要的时候查看。

Transformer从菜鸟到新手(五)

日积月累，天道酬勤

01-09

1597

本文介绍如何利用PyTorch进行多GPU并行训练。

手搓Transformer代码（简易版）复现

qq_50374797的博客

06-06

2314

Transformer 架构中的一个关键组件，可以用于编码器（Encoder）的自注意力（Self-Attention）、解码器（Decoder）的掩蔽自注意力（Masked Self-Attention）以及编码器-解码器（Encoder-Decoder）的注意力机制。，其中包含了多个句子，每个句子都是一个包含三个字符串的列表：中文句子（编码器输入）、带有开始符号的英文句子（解码器输入）、以及英文句子（解码器输出）。中的每个句子，并将每个句子的单词转换成对应的数字。，其中包含了三对中文到英语的句子。

Transformer详解（李沐大神文字版，干货满满！）

qq_42068614的博客

03-09

6585

使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。

小黑手撕transformer 1

qq_37418807的博客

09-15

1130

transformers中的encoder和decoder在各种论文的复现中，各种调包与封装总是整得让我一头雾水，在这里将代码中结构抽象一下，由下至上依次以最简化的形式抽象出来,分析每一个模块的输入输出的维度。 transformers整体结构导包: import numpy as np import torch import torch.nn as nn import torch.nn.functional as F import math,copy,time from torch.autograd

transformer细节

hellozhxy的博客

06-07

799

因此对于每一个查询语句Q，我们取出。

Transformer模型全解析：从原理到实践，图解+手撕代码_transformer模型详解

2401_85280106的博客

06-20

941

Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。