Transformer学习

最新推荐文章于 2025-12-23 23:05:49 发布
原创 最新推荐文章于 2025-12-23 23:05:49 发布 · 105 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

本文详细介绍了Dockerfile的使用，包括基础指令如FROM、RUN、CMD、EXPOSE等，探讨了如何优化Docker镜像大小，并分享了编写高效Dockerfile的技巧，旨在帮助读者更好地理解和应用Docker进行应用容器化。
yeeeeeeeeeeees
关注
Transformer要学哪些东西？零基础入门Transformer学习重点，学习路线推荐
OpenCVtuxiang的博客
05-26 1060
Transformer是深度学习核心架构，广泛应用于NLP、CV等领域，衍生出BERT、GPT等知名模型。学习Transformer需掌握：1）数学基础（线性代数、概率统计等）；2）深度学习知识（神经网络、优化算法）；3）Transformer核心结构（Attention机制、编码器/解码器）；4）进阶模型（BERT、ViT等）；5）工具框架（PyTorch、HuggingFace）；6）实战调优（训练技巧、模型部署）。建议从基础到实践逐步学习，搭建简化模型后通过库实战提升。Transforme
Vision transformer学习笔记
qq_36936443的博客
04-14 5407
1. transformer基本架构 在了解cv中的transformer之前，我们先来复习一下transformer的基本架构 1.1 编码器与解码器 我们可以将网络分成两个部分，编码器与解码器。 编码器：将输入编程成中间表达形式（抽取特征） 解码器：将中间表示（特征）解码成任务需要的输出 从编解码的角度来理解神经网络，就是说我先通过编码器将原始数据编码成机器学习比较好理解的结构，再通过解码器解码成你需要的任务输出。 对应到CNN，就是说前面使用卷积层进行...
Transformer学习笔记
athrunsunny的博客
12-13 5165
Transformer 这一概念是在论文Attention is All You Need 中提出,感兴趣的可以通过链接阅读原文。这篇文章主要讲讲我对Transformer这个模型学习的理解。 什么是Transformer？ Transformer可以理解为一个黑盒，我们将一段序列输入模型，经过Transformer之后，输出另一段序列，这个序列可以是翻译，可以是摘要。而Transformer最重要的创新在于使用注意力机制，注意力机制能够关注输入序列中感兴趣的部分，并分配...
transformer学习
qq_44442727的博客
10-22 1628
关注到旷视最近发表（2021.09.15）的一篇目标检测论文，把NLP领域常用的transformer应用到目标检测方向，与以前基于CNN的anchor-based和anchor-free网络不同，这是一种完全不同的模块结构。查阅相关文献发现，这并不是第一次将transformer应用到目标检测，于是对这一应用进行了学习（目前还没有学习原始的transformer）： 1、最早进行目标检测应用的论文：End-to-End Object Detection with Transformers 贡献：提出了一
Transformer 学习路线说明
Flag_ing的博客
02-25 1437
模型的代码可以在博客[9]里找到，此博客根据文献[3]的内容撰写了代码，而且是根据文献每一段的内容附上相应代码，因此可以清晰知道每一部分代码实现了什么功能，对应原文什么模块。Transformer 与文献[1, 2]中的注意力机制的原理相同但实现方式有区别，[1, 2]中的注意力机制是依赖于类 RNN 网络的隐层输出得到的，而 Transformer 中的自注意力是直接从输入数据中计算得出的。文献[6] 对近些年来产生的 Transformer 模型进行了分类，但主要关注attention模块的效率问题。
Transformer模型的学习
2303_79395617的博客
05-06 2012
在开始深入 Transformer 之前，建议先打好深度学习和自然语言处理（NLP）的基础，然后按照以下学习路径逐步掌握其核心原理、实现细节与实际应用。整个过程可分为：基础知识准备、自注意力与多头注意力理解、Encoder–Decoder 架构与位置编码学习、从零实现 Transformer、使用主流框架（TensorFlow、PyTorch）进行实践、以及综合项目与进阶变体研究。
李宏毅 Transformer 学习笔记
热门推荐
herosunly的博客
07-04 1万+
1. self-attention 1.1 为什么要引入self-attention   基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。   self-attention的出现恰好解决了以上两大问题。 其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...
Transformer 学习路线指导：从入门到精通
2501_91624122的博客
05-10 1118
Transformer架构自2017年提出以来，已成为自然语言处理（NLP）和计算机视觉（CV）领域的核心。其强大的并行计算能力和对长距离依赖关系的建模能力，彻底改变了序列数据处理的方式。本文详细梳理了Transformer的学习路线，从深度学习与自然语言处理的基础知识入手，逐步深入Transformer的核心概念，如自注意力机制、多头注意力和位置编码。接着，通过动手实践，指导读者构建第一个Transformer模型，并介绍了使用预训练模型的方法。此外，文章还探讨了模型优化、Transformer的变体及其
transformer学习笔记
潇潇客
10-19 948
transformer的作用：已经实现了语音和图像的通用技术。新一代的backbone，传统的深度学习依赖于网络结构的设计。2017年 transformer。Q：查询矩阵 查询别人。V：数值矩阵 特征表达。2018年 BERT。2020年 GPT3。2020年 DERT。
Transformer学习01——输入部分-嵌入层&位置编码
l15202833159的博客
02-10 2003
嵌入层；位置编码
【Transformer学习】含Transformer文章以及annonated-transformer-代码.zip
01-22
Transformer模型是深度学习领域的一个重要里程碑，由Google在2017年的论文《Attention is All You Need》中提出。这个模型彻底改变了序列建模的方法，尤其是对于自然语言处理（NLP）任务，如机器翻译、文本分类和...
基于PyTorch的深度学习——迁移学习4
Wis4e的博客
12-20 271
常用的方法是固定底层的参数，调整一些顶层或具体层的参数。这样做的好处是可以减少训练参数的数量，同时也有助于克服过拟合现象的发生。此外预先训练的网络参数也会被更新，但会使用较小的学习率以防止预先训练好的参数发生较大的改变。
Monodepth：基于左右一致性的无监督单目深度估计，单目估计的起步-k学长深度学习专栏
12-23 801
Monodepth是一种创新的单目深度估计方法，通过无监督学习实现深度预测。其核心思想是将深度估计转化为图像重建问题，利用双目相机的左右图像进行训练，无需真实深度标注。方法采用编码器-解码器结构预测视差图，并通过三种关键损失函数（外观匹配损失、视差平滑损失和左右一致性损失）来优化模型性能。最大的创新点是引入左右一致性约束，使模型能更准确地理解场景的几何结构。相比传统方法，Monodepth降低了数据获取成本，提高了深度预测的可靠性，适用于自动驾驶、AR/VR等多个领域。
基于分位数回归的长短期记忆网络QRLSTM在风速、负荷和功率预测中的应用与性能评估：评价指标R...
2509_94268297的博客
12-23 247
这代码妙就妙在给每个分位数都配了个专属输出头（heads列表），相当于让模型同时学习多个分位点的预测。比如咱们设定了[0.1,0.5,0.9]三个分位数，模型就能同时给出10%、50%、90%分位数的预测值，形成预测区间。这QRLSTM不光能做预测，还能当异常检测器用，算是买一送一的惊喜了。这函数处理多个分位数损失的方式很讲究——对于每个分位点q，当预测值低于真实值时，损失权重是q，反之是(1-q)。调参时有个小技巧：先调中间分位数（0.5相当于中位数预测），稳定后再调两侧分位数。
入门篇--人工智能发展史-4-点燃深度学习革命的那把火，AlexNet
weisian的博客
12-20 1085
摘要： AlexNet（2012）是深度学习革命的里程碑模型，以15.3%的错误率横扫ImageNet竞赛，比传统方法提升10个百分点。其成功源于三大突破：1）ReLU激活函数解决深层网络梯度消失问题；2）GPU并行训练将训练时间从数周缩短至5-6天；3）Dropout正则化防止过拟合。该模型奠定了现代CNN的“卷积+池化+全连接”范式，推动GPU成为AI基础设施，并验证了“数据+算力+算法”的铁三角逻辑。AlexNet直接引爆了全球深度学习热潮，其设计思想至今仍是计算机视觉的基石。
基于PyTorch的深度学习——迁移学习2
Wis4e的博客
12-20 141
接下来，下载预训练模型，冻结模型参数使得反向传播时不更新，修改最后一层输出类别（512x1000改成512x10）现在将迁移学习的特征提取应用于CIFAR-10。
Tetuan的电力消耗数据进行时间序列预测
最新发布
m0_71266194的博客
12-23 223
本文使用LSTM模型对Tetuan城市电力消耗数据进行预测。首先对原始数据进行清洗和归一化处理，然后构建时间序列样本，采用前10个时间步预测当前值。通过网格搜索优化模型超参数，确定最佳批次大小、训练轮数和优化器。实验结果显示，预测值与真实值趋势基本吻合，均方根误差为合理范围。可视化展示了预测效果和误差分布，验证了LSTM模型在电力消耗预测中的有效性。该方法可为城市电力管理提供数据支持。
【深度学习】 循环神经网络
PANSS__的博客
12-22 800
RNN。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值