- 博客(9)
- 收藏
- 关注
RSS订阅原创 AI算子-FlashAttention V2（Fwd）
本文详细介绍了FlashAttention V2 的前向传播算法，解析了V2中两大核心技术：分块计算（Tiling）、在线 Softmax 重计算（Online Softmax Recomputation）。
2025-08-21 14:58:36
1259
原创 AI算子-Online Softmax
本文详细剖析FlashAttention中最为核心的数学组件：在线 Softmax（Online Softmax） 算法，为FlashAttention实现做准备。
2025-08-21 11:25:02
2253
原创 异构计算-核心关键字与CUDA线程层次结构
本文主要分析cuda编程中核心关键词和线程层次结构，了解异构计算中函数的执行位置和调用规则，了解CUDA并行编程模型的核心。
2025-08-20 16:49:13
1122
原创 异构计算-Scale工程（线程和内存）
本文主要主要梳理Scale工程中至关重要的线程层次结构和内存层次结构。目的在规模不断扩大的计算系统中，高效地利用计算资源（CPU/GPU核心）和快速访问数据（内存/存储）。
2025-08-19 16:27:12
1112
原创 LLM-完整的Transformer
本文主要将之前《LLM-Transformer各组件函数介绍》文章中的组件合并，构成完整的Transformer，并进行多方向分析。
2025-08-19 13:58:59
1066
原创 LLM-Transformer各组件函数介绍
本文主要梳理LLM-Transformer中的核心组件：Encoder、Decoder、PositionalEncoding。并梳理了各个核心组件运行的数据流图。
2025-08-18 17:24:42
973
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人