Transformer相关

最新推荐文章于 2025-08-19 13:45:29 发布
原创 最新推荐文章于 2025-08-19 13:45:29 发布 · 816 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #nlp

Transformer相关

Transformer采用经典的encoder-decoder框架，是一个基于self-attention来计算输入和输出表示的模型，现已被应用于计算机视觉、自然语言处理等领域，都有非常好的效果。
写了“Transformer相关”系列的博客，将尽可能覆盖Transformer触及的相关知识，一起手撕Transformer~
Transformer相关——（1）Encoder-Decoder框架
Transformer相关——（2）Seq2Seq模型
Transformer相关——（3）Attention机制
Transformer相关——（4）Poisition encoding

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Pytorch实用教程】Pytorch中transformer相关组件的详细介绍
若北辰
07-18 840
【Pytorch实用教程】Pytorch中transformer相关组件的详细介绍
Transformer相关介绍
Yoin.
08-03 2485
Self-attention 和 RNN 在处理序列数据时有显著的区别。Self-attention 通过并行计算和全局关注机制提高了处理长序列的效率和能力，并且能够有效地捕捉长距离依赖关系。相比之下，RNN 需要按时间顺序逐步计算，其处理效率和能力受到长期依赖和梯度问题的限制。
Transformer相关学习资料整理
l8947943的博客
12-12 676
最近频繁看到论文中用到transformer，于是又回头看了看曾经经典的大作。以前只知道大致流程，本次死磕一波，好好梳理细节和内容，因网上大部分资料讲的内容都不错，遂做整理。 1. Transformer相关内容 变形金刚——Transformer入门刨析详解 【Transformer】一文搞懂Transformer | CV领域中Transformer应用 图解Transformer | The Illustrated Transformer，这篇文章做的很用心 李宏毅2022讲解transformer
Transformer 模型详解
热门推荐
步入人工智能
05-29 33万+
本内容主要介绍 Transformer 模型的具体实现。
Transformer相关整理
nns_2417841714的博客
09-15 130
Transformer相关整理1. Attention1.1 attention1.2 seq2seq中的attention1.3 self-attention2. Transformer2.1 Transformer结构2.2 encoder2.3 decoder 本文主要记录基于Datawhale9月组队学习课程对transformer的学习过程，对self-attention、attention以及transformer的结构原理进行总结，对其中某些细节以提问形式加深理解。 参考教程： 1. Atte
mask transformer相关论文阅读
goodenough5的博客
01-24 1937
mask transformer的一些论文阅读。
算法八股整理【Transformer】
ZLInbao的博客
08-13 2298
A: 帮助模型在处理序列数据的时候，能够关注到输入序列中最重要的部分，，从而实现对信息的有效筛选和整合。注意力机制希望打破长序列信息瓶颈，解决长序列信息丢失的问题。朴素的Seq2Seq模型中，由于用Encoder RNN的最后一个神经元的隐状态作为 Decoder RNN 的隐状态，导致Encoder 的最后一个神经元的隐状态Context Vector 承载源句子的所有信息，成为整个模型的“信息”瓶颈。
Transformer相关八股
weixin_47755728的博客
05-15 592
点乘注意力通常在实践中表现更好，可能是因为计算简单和高效。点乘复杂度为O(d*n^2)其中d是特征维度，n是序列长度。
Diffusion Transformer 相关框架解释
NPU 研0
12-21 1445
DiT（Diffuison Transformer）的相关解释
transformer相关学习资源，transformer
07-07
在深度学习领域，Transformer模型已成为近年来最为重要的创新之一。它的核心理念来源于自然语言处理（NLP），并在机器翻译、文本生成、语音识别等多个任务中展现出了非凡的性能。Transformer的架构主要由自注意力...
Transformer 相关论文
04-19
### Transformer 相关论文：视觉Transformer模型压缩与加速策略 #### 概述 近年来，Transformer 模型在计算机视觉领域取得了显著成就，特别是在图像分类、目标检测等任务上展现出卓越性能。然而，这类模型通常计算...
机器学习--决策树2
最新发布
JYB0918的博客
08-19 294
决策树的进化之路：从ID3到CART的算法优化 决策树算法经历了从ID3到C4.5再到CART的演进过程，逐步解决了前代算法的局限性。ID3采用信息增益划分节点，但容易偏好多值特征；C4.5引入增益率进行平衡；CART则改用计算更简单的基尼指数。针对连续值特征，决策树通过离散化处理实现有效划分。此外，预剪枝和后剪枝技术能有效防止过拟合。实际应用中，合理设置criterion、max_depth等参数对模型性能至关重要。这些算法改进体现了机器学习追求简单而准确的核心思想。
Candle用 Rust 打造“小而快”的机器学习栈
hello.reader
08-18 1085
Candle 是 Hugging Face 推出的 Rust 机器学习框架，主打轻量、高性能与易部署。它既能在浏览器里跑 Whisper/T5/SegAnything，也能在服务器上跑 LLaMA、Stable Diffusion 和多卡 CUDA；既支持 safetensors/npz/ggml 等权重格式，也提供 FlashAttention v2、量化与 wasm。本文面向工程落地视角，讲清楚：为什么选 Candle、如何快速起步、典型应用场景、性能与部署要点、常见坑与对比选择。
《机器学习之 K 近邻算法（KNN）》
wjt102020的博客
08-15 803
本文介绍了K近邻算法(KNN)的原理及应用。首先通过电影评分案例引出分类问题，然后详细讲解KNN算法步骤：计算距离、排序选取K个最近邻、统计类别频率进行预测。重点阐述了欧式距离和曼哈顿距离两种度量方式。最后通过鸢尾花分类和电影类型判断两个实例，展示了KNN的实际应用过程，包括数据划分、模型训练、评估及K值选择优化。文中还给出了完整的Python实现代码，包括数据集加载、模型训练、交叉验证和可视化分析，帮助读者理解如何选择最优K值以提高分类准确率。
机器学习-吴恩达笔记
whdehcy的博客
08-18 960
简单说一下肘部原则：就是尝试多个聚类中心的个数，进行实验，得到对应的代价函数（loss值），然后按照个数的由小到大的增加画到一张图上，看看loss值有一个由大的波动到小的波动的拐点，那么我们选择这个拐点对应的聚类中心个数。就是如果说你有一个流动的数据流，就可以使用在线学习算法，还能够匹配到最新的趋势，比如用户的爱好在变化，你推荐给他的按照他的爱好变化而变化。PCA做的就是尝试找到一个面或线或别的在高维上可以将数据分隔开的东西，把数据投影到这个面或线上，以便最小化平方投影误差。确认没有误差运行时应该关闭。
[机器学习]10-基于ID3决策树算法的西瓜数据集分类
Caveira271_的博客
08-18 579
ID3决策树算法实现西瓜数据集的分类器
机器学习（1）-K均值聚类
x1664的博客
08-18 638
1、K-means基本概念：是一种无监督学习方法，不依赖人工标注的类别，而是根据数据本身的特征，将相似的数据点自动分为若干类。给定一个参数，表示希望划分成的簇（cluster）数量；找到每个簇的“中心点”（质心，centroid），让同一簇内的点尽可能相似，不同簇之间的点尽可能不同。
198种组合算法+双重优化BP神经网络+SHAP分析+新数据预测！机器学习可解释分析，粉丝必备！
机器学习之心的博客，关注并私信文章链接，获取对应文章源码和数据。
08-19 808
198种组合算法+双重优化BP神经网络+SHAP分析+新数据预测！机器学习可解释分析，粉丝必备！
Transformer相关原理
07-09
在每个多头注意力机制中，输入序列中的每个元素都会与其他元素进行交互，以生成一个上下文相关的表示。 - **解码器**：同样由多个相同的层组成，但除了多头自注意力机制外，还引入了一个额外的注意力机制来关注...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值