小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(4)

最新推荐文章于 2025-12-25 16:43:46 发布
原创 最新推荐文章于 2025-12-25 16:43:46 发布 · 966 阅读 · 24 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能 #AIGC #agi

本文详细解析Transformer模型中的自注意力机制、残差连接和Layer Normalization，阐述它们如何增强特征表征和防止梯度消失。此外，还讨论了FFN层的作用以及在输出阶段如何使用top_k策略提高模型表现力。

终结篇了

      书接前文：小周带你读论文-2之"草履虫都能看懂的Transformer老活儿新整"Attention is all you need(3) (qq.com)

      本章把Trasfomer剩的一点网络讲完

      上节课我们讲完了attetion的机制，我们再复习一下（这玩意就得反复看，加深记忆）

      我下面再换几张图，换个角度来看，来自于复旦的Qiu Xipeng教授的slide

      首先自注意机制它也不是Transformer才有的，实际上以前也有RNN+self-attention来解决词相关性长距离依赖问题的网络

      如下图所示，我们为了让"The weather is nice today"的"The"去判断它和其他4个词的关系，我们可以让"The"这个向量去分别跟其他每个单词的向量做内积，然后走softmax做归一化之后，得到5个加起来为1的权重，然后再把W1到W5这5个权重分别乘以原始的向量做加权求和，就能得到带有新的带有词关联性的 new "

最低0.47元/天 解锁文章
周博洋K
关注
小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(1)
周博洋的博客
01-10 1395
那encoder-only 和 encoder-decoder的模型可以像GPT一样训练吗，GPT的训练就是训练生成式的，也是依次的产生token，这其实对于encoder-only 和 encoder-decoder的模型是有点别扭的，并且没法并行，所以就产生了变种训练方式，采样一段文本，然后选择一个随机点将其拆分为前缀和目标部分，前缀作为输入，目标作为输出。1- GPT-3就已经拉开了跟所有其他模型的差距，别人还在争"金刚，指玄，天象"的时候，它已经率先到了陆地神仙的境界。
多模态MLLM都是怎么实现的(9)-时序LLM是怎么个事儿？
周博洋的博客
05-28 1271
TCN，另外时间步卷积，Temporal Convolutional Networks ，使用卷积网络处理时序数据，具有更好的并行计算能力，但是为啥不用它呢，其实和它对NLP的道理差不多，通过野去做东西不适合序列化的任务。讲完了，总体看其实思路并不难，冻住LLM，只用少量的时序数据就可以快速训练，但是其实我刚才也讲了，前期的数据准备工作，包括PAP是很复杂的，需要有很好的数据工程基础。第三块就是对这段给过去的数据的一个描述，主要是最大最小，均值方差，MAE，MSE啥的，普通的时序预测咋算，这个就咋描述。
自然语言处理中的预训练模型-邱锡鹏老师
sueong的博客
05-16 1212
自然语言处理中的预训练模型 视频地址(https://www.bilibili.com/video/av883626347 参考https://blog.youkuaiyun.com/qq_37388085/article/details/108463269 1、自然语言表示学习 1.1 什么是自然语言处理（NLP） 自然语言≈人类语言，不同于人工语言（如程序语言）； 1.2 NLP的基础：语言表示 如何在计算机中表示语言的语义？ 知识库规则 分布式表示 句子嵌入 1.3 自然语言处理任务 序列到类别-情感分类/文本蕴
周明：预训练模型在多语言、多模态任务的进展
m0_49541197的博客
09-14 254
周明：预训练模型在多语言、多模态任务的进展 道翰天琼认知智能机器人平台API接口大脑为您揭秘。8月29日至30日，由中国科学技术协会、中国科学院、南京市人民政府为指导单位，中国人工智能学会、南京市建邺区人民政府、江苏省科学技术协会主办的主题为“智周万物”的2020年中国人工智能大会（CCAI 2020）在江苏南京新加坡·南京生态科技岛举办。在大会上，微软亚洲研究院副院长、国际计算语言学会（ACL）前任主席周明做了主题为《预训练模型在多语言、多模态任务的进展》的特邀报告。 以下是周明老师的演讲实录： .
小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(2)
周博洋的博客
01-20 1168
当你准备训练模型之前，首先是要定义自己的词典，也就是vocb，vocb是可以由纯粹的单字构成（汉语，估计也是唯一一门的表意文字）,也可以由词组成（英语，拼音类文字，当然汉语也可以这么分），一般像Llama分词就用的BPE来分词，来支撑它的vocb，但是BPE中文用着就别扭，因为是基于字节的，也有自己写分词器的，按字来分，比如我哥们儿在做的项目就是自己做的汉字分词器，然后把5000多个汉字加入到Llama原本的vocb里面，也一样用。)，cos也一样，这样就能在计算M和N之间的位置了。
小周带你读论文-2之“草履虫都能看懂的Transformer老活儿新整“Attention is all you need(3)
周博洋的博客
02-04 839
以上图为例，当一个句子包含4个token，进入到自注意力矩阵计算的时候，它首先要和一个生成的Wq，Wk，Wv相乘（你可以理解为，系统自动生成，实际上有3个线性层，qproj,kproj,vproj来做的），然后每个token的向量和Wq,k,v分别做点积，会算出来3个向量q,k,v（实际是生成3个矩阵，因为真实世界的输入包含batchsize等，我们先按向量来，好理解）最后我们把F(q,k)这个权重矩阵和由原始句子生成的另外一个矩阵V矩阵相乘，就得到了加入权重计算后的qkv的值，最终算出来了自注意力的值。
又有人来问MOE和Dense模型到底差哪了？
周博洋的博客
09-28 881
那必然是没省，因为你整个参数扩大了，对于transformer模型来讲最大头的参数肯定是MLP，也就是你放大了几倍的参数，weight显存，你占定了，同样的激活，原来我激活一个mlp，哪怕你是最简单的8 experts only激活2个，那也是2倍一样的激活显存，这个不管训练还是推理，你都要投入对应的显存容量来fulfill。MoE 版显著减少了层数。如果随便答，其实什么推理省显存，简单的道理，因为activation 少了么，原来要激活整个MLP，现在激活的几个expert之类的云答案，这种很好找的。
【IC设计】草履虫都能看懂的AXI入门博客（大量图文来袭，手把手教学，波形仿真）
热门推荐
VICI的博客
04-21 1万+
本文介绍了AXI协议的几种分类、五个通道、时序图，给出了如何创建一个简单的AXI收发的block design，对波形仿真进行了分析。 由于时间仓促，写的不足的地方多多包涵，后面会继续更新手撕AXI协议以及本文配套讲解视频，感觉有用的点个关注不迷路~~
BPE分词算法逐步详解，超级简单易懂，草履虫都能看懂！
GottenZZP的博客
04-10 961
BPE（Byte-Pair Encoding，字节对编码）是一种NLP中常见的分词方法，核心思想是通过“找规律、合并重复”的方式，把经常一起出现的字符或小片段组合起来，逐步构建一个“词汇表”，然后用该词汇表来拆分任何文本。现在 “u n” 和 “n </w>” 并列最常见（16次），我们随便挑一个，比如合并 “u n” 成 “un”。初始词汇表：[“b”, “g”, “h”, “n”, “p”, “s”, “u”, “</w>”]最常见的字符对是 “u g”，出现了20次。
机器学习，回归算法笔记（草履虫都能看懂），简单的一批
GottenZZP的博客
04-30 1279
回归算法系列笔记
003 卷积神经网络（CNN）-- 原理到实践
最新发布
yy_xzz的博客
12-25 568
卷积操作：局部连接，权重共享池化操作：降维，增加平移不变性经典架构现代技巧：批归一化，Dropout，残差连接实践应用：图像分类，特征可视化# 尝试设计一个用于MNIST的CNN# 你的设计pass# 前向传播pass。
基于PyTorch的深度学习——迁移学习4
Wis4e的博客
12-20 282
常用的方法是固定底层的参数，调整一些顶层或具体层的参数。这样做的好处是可以减少训练参数的数量，同时也有助于克服过拟合现象的发生。此外预先训练的网络参数也会被更新，但会使用较小的学习率以防止预先训练好的参数发生较大的改变。
入门篇--人工智能发展史-4-点燃深度学习革命的那把火，AlexNet
weisian的博客
12-20 1222
摘要： AlexNet（2012）是深度学习革命的里程碑模型，以15.3%的错误率横扫ImageNet竞赛，比传统方法提升10个百分点。其成功源于三大突破：1）ReLU激活函数解决深层网络梯度消失问题；2）GPU并行训练将训练时间从数周缩短至5-6天；3）Dropout正则化防止过拟合。该模型奠定了现代CNN的“卷积+池化+全连接”范式，推动GPU成为AI基础设施，并验证了“数据+算力+算法”的铁三角逻辑。AlexNet直接引爆了全球深度学习热潮，其设计思想至今仍是计算机视觉的基石。
高级LSTM架构在量化交易中的特殊入参要求与实现
木头大左的博客
12-25 513
本代码实现了基于长短期记忆网络（LSTM）的量化交易策略，通过处理时间序列金融数据预测未来价格走势。主要风险包括过拟合问题、非平稳时间序列导致的梯度消失、以及市场黑天鹅事件引发的异常波动。对于高频交易场景，采用5-30分钟级别的K线数据时，建议设置timesteps=64-128；该实现方案已在CME集团黄金期货(GC)合约上完成实证测试，2018-2023年期间实现年化收益18.7%，夏普比率1.93，最大回撤9.2%。需要注意的是，实际应用中应根据具体交易品种调整参数范围，并建立严格的风控体系。
基于PyTorch的深度学习——迁移学习2
Wis4e的博客
12-20 154
接下来，下载预训练模型，冻结模型参数使得反向传播时不更新，修改最后一层输出类别（512x1000改成512x10）现在将迁移学习的特征提取应用于CIFAR-10。
【深度学习】 循环神经网络
PANSS__的博客
12-22 805
RNN。
即插即用系列 | 2025 RestorMixer：融合 CNN、Mamba 与 Transformer 的高效图像复原的集大成者！
分享顶会顶刊论文即插即用模块
12-20 652
本文提出了一种高效混合异构图像复原模型RestorMixer，通过结合CNN、Mamba和Transformer的优势，实现了性能与效率的平衡。RestorMixer采用三阶异构架构：在高分辨率阶段使用CNN提取局部特征，在低分辨率阶段交替使用增强记忆视觉Mamba（EMVM）进行全局建模和多尺度窗口自注意力（MWSA）优化局部细节。EMVM通过下采样和四向扫描机制降低计算量并增强长程记忆，MWSA则利用动态窗口注意力精修特征。实验表明，该模型在去雨、超分等任务上达到SOTA性能（如Rain100H上33.
Lora模型微调
糖葫芦君的博客
12-21 1031
大量实证研究表明：大模型在微调过程中，权重增量矩阵 ΔW 具有显著的低内在秩（low intrinsic rank）。这意味着，尽管 ΔW 是一个高维矩阵（例如 4096×4096），其有效信息却集中在少数几个主成分上。在 LoRA 中，矩阵 W 是模型的权重矩阵。而在传统的微调中，W 会直接进行调整，但在 LoRA 中，核心思想是将原始的权重矩阵 W 被分解为两个较小的低秩矩阵：A 和 B。这两个矩阵的乘积（A * B）就是对权重矩阵的调整部分：ΔW = A × B。
深度学习驱动的蛋白质设计新范式：解析RFdiffusion3与Foundry生态系统
ASKCOS博客
12-24 647
蛋白质设计是计算生物学与生物工程领域的前沿方向，其目标是创造具有特定结构和功能的新型蛋白质分子，在药物研发、工业酶工程、基因治疗等领域具有革命性应用潜力。传统蛋白质设计方法依赖于分子动力学模拟和基于物理的能量函数优化，面临计算成本高昂、设计成功率低等挑战。近年来，以扩散模型为代表的深度学习技术为蛋白质设计带来了突破性进展，其中RFdiffusion3（RFD3）作为最新一代扩散模型，实现了全原子水平的生物分子相互作用从头设计。
用保姆级，草履虫都能听懂的话来解释PHP封装协议，从详细到精通
06-17
// 发送带参数的GET请求： $data = file_get_contents('http://api.com?user=john&page=2'); ``` 3. **`php://` (PHP流协议)** - `php://input`：读取原始POST数据 ```php $rawData = file_get_contents('...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值