“Full-Stack“ Transformer

原创 已于 2025-03-06 16:50:24 修改 · 650 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer #深度学习 #人工智能

于 2025-03-06 16:21:51 首次发布
TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

看到一个文档很有意思，由计算科罗拉多大学计算机科学副教授Tom Yeh制作的Google在线文档 transformer,通过excel理解transformer的内部计算过程，分享给大家。

资料链接：https://pan.baidu.com/s/14dYY1HDQ4sAsnqLVhzN4Lg?pwd=vt7c 提取码: vt7c

原文链接："Full-Stack" Transformer - by Tom Yeh - AI by Hand ✍️

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。 它提供了一个灵活的平台,用于构建和训练各种机器学习模型

Restart0011
关注
Excel里跑AI模型？这个教授用一张表格颠覆你对深度学习的认知
weixin_44626085的博客
03-19 1477
当全世界的开发者都在抢购GPU时，一位计算机教授却在Excel表格里搭建出了完整的AI模型。科罗拉多大学博尔德分校的Tom Yeh教授，用最普通的电子表格软件，完成了一场震撼业界的教学实验——。这不是简单的玩具模型，而是包含四维输入、完整离散化计算的核心算法。当业界还在争论Transformer和SSM孰优孰劣时，这位教授已经用电子表格解构了最前沿的Mamba模型。更令人震惊的是，这份能跑通AI算法的Excel文件，竟然只有322KB。
论文解析——Full Stack Optimization of Transformer Inference: a Survey
知识，既贵，又便宜。
07-08 1306
Full Stack Optimization of Transformer Inference: a Survey
tom yeh教授ai by hand系列excel，NN和MLP的两个excel文件
10-15
tom yeh教授ai by hand系列excel，NN和MLP的两个excel文件，详细说明可参考https://blog.youkuaiyun.com/river20190802/article/details/153342855?sharetype=blogdetail&sharerId=153342855&sharerefer=PC&sharesource=river20190802&spm=1011.2480.3001.8118
突然发现Excel手搓Transformer真的好清晰..
qkh1234567的博客
02-10 1453
🔸 这是一份由科罗拉多大学计算机科学副教授Tom Yeh制作的Google在线文档。它非常独特，让你可以亲手操作计算过程，直观感受神经网络的运行机制。🔸 比如在学习Transformer时，你可以亲手完成注意力机制的计算，一步步理解权重分配的逻辑，以及前馈网络背后的原理。很多小伙伴试过后都惊呼“原来如此简单！”那些原本晦涩难懂的概念，动手实践后瞬间变得清晰明了。这种学习方式特别适合快速掌握AI的基本理念和数学知识。
突然发现Excel手搓transformer真的好清晰！
2401_85379281的博客
12-18 1657
这是一个谷歌在线表格，作者来自科罗拉多大学计算机科学系的副教授Tom Yeh，你可以用这个工具亲自动手计算，从而直观地理解整个神经网络架构是如何运作的。以transformer为例，借助计算过程，就可以展示注意力加权和前馈网络的运作原理，这让围观网友直呼：算一遍就懂，用来学习AI概念和数学基础在适合不过了，我可以分享给你。
【开源项目】Excel手撕AI算法深入理解（五）：进阶（Transformer、Transformer-Full-Stack、AlphaFold）
所有专家都曾始于新手
04-13 1309
原始论文（《Attention Is All You Need》）中采用modeldff​=4×dmodel​（如512→2048），这是经验性选择平衡模型容量和计算效率。实验表明，扩展倍数小于4可能导致性能下降，大于4则收益递减。2.3 解码器层（Decoder Layer）比编码器多一个掩码多头注意力（Masked Multi-Head Attention）掩码机制：防止解码时看到未来信息（训练时用三角矩阵掩码）。编码器-解码器注意力：解码器的Q来自上一输出，K/V来自编码器输出。3. 关键数学细节。
AI大模型零基础入门学习路线(非常详细)从入门到精通，看这篇就 够了
2401_85379281的博客
08-15 2285
学习AI大模型从零基础入门到精通是一个循序渐进的过程，涉及到理论知识、编程技能和实践经验。下面是一份详细的指南，帮助你从头开始学习并逐步掌握AI大模型的构建与应用。
突然发现Excel手搓Transformer，真的好清晰...
2401_85325726的博客
12-22 2052
强烈推荐 Tom Yeh 教授的手绘 AI 算法系列教程，这次他直接用 Excel 手搓出了 Self-Attention.自注意力作为 Transformer 的核心机制，对于初学者来说有一定理解难度，特别是其中的 QKV 三个矩阵的运算，学起来更是让人头秃，现在有了这份可交互 Excel 真的能降低理解成本。所有Excel已打包好了，😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~
论文阅读（第一部分）：Full Stack Optimization of Transformer Inference: a Survey
peakkizza的博客
01-26 1215
and **passes it through multiple Transformer encoder blocks,***并且提取输入的序列的高级别特征，这些提取的特征之后进入decoder，它负责为目标语言生成tokens，这是基于encoder的源语言特性以及它之前生成的tokens。要将此操作与前面的matmul操作融合，在写出结果之前必须在reduction维度上累积整个输出矩阵（计算均值和方差的维度），这倒是不规则的tiling维度和更低的数据重用。，需要专门的支持或片外计算。
体系结构论文（五十五）：Full Stack Optimization of Transformer Inference
欢迎交流！
10-06 1471
Transformer模型被广泛应用于各种任务，如计算机视觉自然语言处理语音识别等，原因是它们的准确度很高。然而，这些模型的复杂性和规模不断增加，导致它们在推理阶段需要大量的计算资源和带宽，特别是在那些对延迟敏感的应用场景中，部署这些模型变得非常困难。
精选资源
full_stack_transformer:Pytorch库用于端到端的变压器模型训练，推理和服务
03-21
全栈变压器 Pytorch库用于端到端的变压器模型训练，推理和服务。一系列出色的图书馆。 图书馆设计 该库的组织方式使得子包包含所有建模，数据结构和数据流类。 在子程序包中，包含所有特定于任务的代码。...
论文阅读（第四部分）：Full Stack Optimization of Transformer Inference: a Survey
peakkizza的博客
01-30 1058
虽然结构化剪枝可以在没有额外硬件支持的情况下提供内存、能耗和延迟等方面的好处，但众所周知，它比非结构化剪枝获得更低的压缩率,激活修剪裁剪掉了推理过程中的冗余激活，对于Transformer模型尤其有效。在某些情况下，量化也使得在仅有整数的硬件单元中部署DNN模型成为可能，否则可能是不可能的，或者可能会为卸载片外的非整数操作带来相当大的开销。特别是，必须特别考虑量化没有精度下降的。**对MHA和FFN模块使用单独的数据通路可以具有更高的面积开销，但与对这两个模块使用单一的数据通路相比，可以实现更积极的优化。
深度学习—卷积神经网络（4）
weixin_62919816的博客
01-03 221
感受野(Receptive field）深度学习—卷积神经网络（4）
如何评估 CNN 模型在验证码识别任务中的性能？
Data_agent19970108018
01-04 824
摘要：验证码识别作为多字符序列分类任务，需关注整串准确率（业务核心）和单字符准确率（问题定位）。核心指标包括整串准确率（≥90%实用）、单字符准确率、混淆矩阵（定位易混淆字符）及推理速度（≤100ms/张）。评估需独立测试集（≥1000样本），通过损失曲线判断过拟合/欠拟合。调优方向包括：整串错误优化预处理或CTC模型，单字符错误补充样本，过拟合增强数据或轻量化模型，速度慢则量化或硬件加速。进阶测试需涵盖噪声、跨场景及概率阈值优化。评估旨在针对性改进，需综合多指标而非仅看准确率。
深度学习资源合集
宝宝单机的博客
01-02 708
基于深度学习的车牌识别系统
qq_35827191的博客
01-02 1252
本文提出了一种基于深度学习的车牌识别系统解决方案，采用模块化设计架构，包含车辆检测(YOLOv3-tiny)、车牌定位(RetinaNet)和字符识别(LPRNet)三大核心模块。系统通过轻量级模型实现实时处理能力，利用特征金字塔网络和Focal Loss优化小目标检测效果，并采用端到端的字符识别方案。文章详细阐述了技术选型依据、网络结构原理、代码实现细节及环境配置要求，为车牌识别系统的开发提供了完整的实践指导。该系统可广泛应用于智能交通、安防监控等场景，具有良好的实用价值。
通俗理解经典CNN架构：LeNet
不惑
01-05 1064
本文介绍了卷积神经网络(CNN)的鼻祖LeNet的起源、架构和应用。LeNet由Yann LeCun在20世纪90年代开发，主要用于手写数字识别，其创新性的卷积层、池化层等设计奠定了现代CNN的基础。文章详细拆解了LeNet-5的7层结构，包括输入层、卷积层、池化层和全连接层的工作原理，并解释了前向传播和训练过程。尽管LeNet结构简单，参数仅6万个，但它在MNIST数据集上实现了不到1%的错误率。虽然现代网络更加复杂，但LeNet作为教学经典，仍是理解CNN核心概念的重要案例。
深度学习算法学习（四）：深度学习-最简单实现一个自行构造的找规律(机器学习)任务
qq_41894068的博客
01-07 58
规律：x是一个5维向量，如果第1个数>第5个数，则为正样本，反之为负样本。实现一个自行构造的找规律(机器学习)任务。基于pytorch框架编写模型训练。
基于深度学习的车型识别系统演示与介绍(YOLOv12/v11/v8/v5模型+Pyqt5界面+训练代码+数据集)
最新发布
ningfoshao8678的博客
01-07 577
本文介绍了一款基于YOLO算法的车型识别系统，支持轿车、卡车、公共汽车和摩托车等多种车型识别。系统具备图片、视频、摄像头实时检测及批量处理功能，集成语音播报、结果导出等实用模块，并提供用户登录和模型训练功能。技术栈采用Python 3.10、PyQt5和SQLite，支持YOLOv5至v12多模型切换。测试数据显示，YOLO12n模型以40.6%的mAP表现最优，YOLO11n在CPU推理速度最快(56.1ms)。系统训练数据集包含19,000张图片，mAP@0.5达到70.8%，F1值为0.67，识别效果
a transformer-based reconstruction module
12-31
### Transformer-Based Reconstruction Module Implementation In the context of deep learning, transformer-based reconstruction modules leverage self-attention mechanisms to learn complex patterns ...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值