Datawhale fun-transformer task 3: transformer的encoder 结构

最新推荐文章于 2025-05-29 20:55:10 发布
最新推荐文章于 2025-05-29 20:55:10 发布
阅读量949 收藏 13
点赞数 10
文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Meteora1024875/article/details/145279760
版权
  • the design from the original paper
    在这里插入图片描述
    encoder由词嵌入、位置编码层和多个相同结构的模块组成，其结构是多头注意力+前馈网络，residual connection和normalization
  • 一种改进模块（调整add和norm的位置）：
最低0.47元/天 解锁文章
DataWhale fun-transformer task2 : attention机制+transformer
Meteora1024875的博客
01-18 566
encoder-decoder架构编码器和解码器中的每一层都包含相同的子层，包括自注意力机制和前馈网络。这种架构不仅有助于全面理解输入序列，而且能够生成上下文丰富的输出序列。位置编码多头注意力机制就是多几个WqW_qWq​WkW_kWk​WvW_vWv​矩阵进行训练，可以让模型从不同的角度学习和关注输入序列的不同部分，从而增强模型的表达能力。前馈网络feed-forward就是神经网络的基本结构（线性变换和非线性激活函数）
Datawhale Fun-transformer task01 引言 笔记
weixin_47204555的博客
02-13 1074
一、Intro## 1. Seq2Seq模型### 1.1 基本概念- **定义**：处理可变长度输入输出序列的模型- **核心标记**：- `<bos>`：序列开始符- `<eos>`：序列结束符- **处理优势**：- 减少对填充的依赖- 动态识别序列边界### 1.2 发展背景- **前身局限**：- 固定长度输入输出- 依赖填充（padding）处理- 掩码机制引入计算复杂度- **突破方向**：- 机器翻译- 语音识别。
fun-transformer task1：
Meteora1024875的博客
01-15 765
个人理解：在多分类问题中，输出的y是向量，比如transformer模型输出的是单词表里每个词在下个位置出现的概率，结果选最大的。
Datawhale组队学习打卡-Fun-transformer-Task3Encoder
weixin_50513012的博客
01-21 1624
自注意力是一种机制，用于捕捉。
fun-transformer task 4: Decoder
Meteora1024875的博客
01-25 235
BLEU——通常用于评估机器翻译文本的质量。反向传播 随机梯度下降法。损失函数：交叉熵损失。
DataWhale组队学习 fun-transformer task5
m0_74302665的博客
01-27 554
通过这些步骤，我们实现了一个完整的注意力机制和Transformer模型。整个过程就像是一个复杂的“相亲”过程，每个单词通过“变身器”变成不同的形态，然后通过“相亲”来决定谁更重要，最后综合所有人的意见，得到一个最终的“翻译结果”。
DataWhale组队学习 fun-transformer task1
m0_74302665的博客
01-15 565
然后，与原本的食材进行对比，看看哪里出现了问题，以及是否和你想呈现出来的菜肴的口感是一致的。解决方式=>Ａttention 模型的特点是 Encoder 不再将整个输入序列编码为固定长度的“向量C” ，而是编码成一个向量（Context vector）的序列（“C1”、“C2”、“C3”），解决“信息过长，信息丢失”的问题。毕竟，十斤的盐是做不出好菜的，然后奇奇怪怪的模型参数也是会调不出好模型的。阅读下一页：当你读到新的一页时，你会结合当前的记忆（隐藏状态）和新内容（输入）来更新你的理解（新的隐藏状态）。
【fun-Transformer系列】-Task03 Encoder
name
02-17 831
这里我又不得不出现了，task里面的公式和参数描述相当乱，无法有个完整参考可以串联思考。以下我给出我对Transformer中多头注意力超参数的理解。
DataWhale组队学习 fun-transformer task2 难点辅助解析
m0_74302665的博客
01-18 799
Encoder-Decoder与注意力机制Encoder-Decoder框架通过编码器总结输入，解码器生成输出，而注意力机制则像“聚焦灯”，帮助模型在生成输出时动态关注输入的不同部分，提升了处理长文本的能力。全局vs局部注意力全局注意力全面但计算量大，局部注意力高效且灵活，适合处理长序列。两者各有优劣，选择取决于任务需求。Transformer的革命性Transformer通过自注意力机制和多头注意力，摆脱了RNN的序列依赖，实现了并行计算和更强的语义捕捉能力，成为现代NLP的基石。词向量的演进。
深度学习核心网络架构详解（续）：从 Transformers 到生成模型
yzx991013的博客
05-29 834
本文深入探讨了四种重要的深度学习架构：Transformer、生成对抗网络(GAN)、自编码器和强化学习。详细解析了Transformer的自注意力机制及其机器翻译应用，演示了GAN生成手写数字的实现，介绍了自编码器的图像压缩原理，并通过DQN算法解决了CartPole平衡问题。每种架构均包含理论讲解和PyTorch代码实现，展示了它们在不同领域的应用潜力。这些技术代表了深度学习的前沿方向，掌握它们对理解现代AI系统至关重要，也为后续学习更先进的模型奠定了坚实基础。
三维点云深度学习代码torch-points3d-SiamKPConvVariants复现记录（持续更新中）
WH_G_Y的博客
05-28 844
三维点云深度学习代码torch-points3d-SiamKPConvVariants复现记录（持续更新中）
使用LSTM进行时间序列分析
weixin_37522117的博客
05-28 535
LSTM（长短期记忆网络）是一种专为时间序列数据设计的循环神经网络，通过门控机制（输入门、遗忘门、输出门）和细胞状态有效捕捉长期依赖关系。相比传统方法，LSTM能更好处理时间序列的非线性、噪声和长期模式。典型应用流程包括数据生成（如带噪声的正弦波）、滑动窗口预处理、PyTorch模型构建（含LSTM层和全连接层）、训练及预测可视化。实验显示LSTM能准确预测时间序列趋势。其优势在于长期依赖性建模、鲁棒性强，并可扩展为双向LSTM、堆叠LSTM等变体。LSTM已成为时间序列分析的核心工具之一。
基于多尺度卷积和扩张卷积-LSTM的多变量时间序列预测
专注AI大模型,软件混淆,授权
05-29 54
本文提出了一种结合多尺度卷积、扩张卷积和LSTM的混合神经网络模型，用于多变量时间序列预测。该模型通过多尺度卷积捕获不同时间尺度的局部特征，利用扩张卷积扩大感受野捕捉长期依赖，并借助LSTM处理序列数据的时序关系。文章详细介绍了模型架构、关键技术原理，并提供了完整的PyTorch实现代码，包括数据预处理、模型定义、训练过程和评估方法。实验结果表明，该模型能有效提取时空特征，在金融、气象、交通等领域具有广泛应用前景。代码实现完整且注释详尽，便于读者理解和使用。
【深度学习】4. 参数初始化详解与数学推导: Xavier, He
weixin_48846514的博客
05-26 716
深度学习中的参数初始化详解与数学推导
【深度学习-pytorch篇】3. 优化器实现：momentum,NAG,AdaGrad,RMSProp,Adam
weixin_48846514的博客
05-28 1060
优化器实现：momentum,NAG,AdaGrad,RMSProp,Adam
学习深度学习是否要先学习机器学习？
2501_91695603的博客
05-17 1853
不管你后面是不是真的想要从事机器学习或者深度学习这方面，我都希望你能有时间去学习的时候，多多的了解一下 AI 技术 ，还是那句话，时间紧的情况下，怎么快速的为目标服务是最重要的，先学对自己有用自己需要的内容。就比如我给计算机一些动物的图片，然后告诉计算机哪个是老虎，哪个是狮子，计算机根据我给出的“图片和答案的特征”去学习“老虎为什么是老虎，狮子为什么是狮子”。这三部分看着挺唬人，其实只需要学习需要的内容，如果你的时间稍微宽裕一点，可以花一个半月左右的时间，如果时间紧，那就压在一个月以内一鼓作气的搞定。
Python打卡 DAY 38
2401_86098690的博客
05-27 504
Dataset类的__getitem__和__len__方法（本质是python的特殊方法）了解下cifar数据集，尝试获取其中一张图片。minist手写数据集的了解。Dataloader类。
【深度学习-pytorch篇】1. Pytorch矩阵操作与DataSet创建
weixin_48846514的博客
05-28 995
Pytorch矩阵操作与DataSet创建
大模型深度学习之双塔模型
最新发布
superfreeman的专栏
05-29 674
双塔模型（Two-Tower Model）是一种在推荐系统、信息检索和自然语言处理等领域广泛应用的深度学习架构。其核心思想是通过两个独立的神经网络（用户塔和物品塔）分别处理用户和物品的特征，并在共享的语义空间中通过相似度计算实现匹配或召回任务。本文从该模型的各个维度开始，对模型做通俗易懂的说明。让您轻松理解这一在推荐系统、信息检索和自然语言处理等领域广泛应用的深度在这里插入图片描述学习架构。一、双塔模型初印象：就像搭积木想象一下，您正在玩搭积木的游戏。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值