- 博客(4)
- 收藏
- 关注
RSS订阅原创 DeepSeek Sparse Attention (DSA) 算法源码分析
DeepSeek-V3.2-Exp 引入了，这是一种细粒度稀疏注意力机制，旨在提升长上下文场景下的训练和推理效率。DSA 作为模块嵌入在层内部，与 MLA 的标准注意力计算协同工作。
2026-04-28 17:10:49
587
原创 Pytorch源码分析 之 Top-K (1)
found_unique是将这个最终的值找出来，必须要满足count == 1 && kToFind == 1，为什么会这样，因为如果count 不等于1，就说明目前确定的bit位，并不足以将这个数找出来，还需要继续遍历，而kToFind 不等于1，就说明还需要继续执行kToFind -= count，最终一定会找到一个值。为什么这里基数选择从高到低？这个函数十分复杂，先看开头，关于RADIX_SIZE是这样的，如果只是按每个bit排序，只有俩值，太多次迭代了，所以两个bit组成一组，有四个值。
2026-04-28 10:05:34
421
原创 Blackwell架构HGEMM详细解读---B200 GEMM性能优化
这篇文章详细介绍了该方案在矩阵乘法运算方面的表现优于当前最先进的实现方案。在此过程中，我们展示了 GPU 硬件的复杂程度不断提高，需要众多功能协同工作才能达到峰值 TFLOPs。展望未来，GPU 将会变得更加强大和复杂。相应地，实现峰值性能所需的编程模式也必须变得更加复杂。
2025-12-08 11:44:24
1471
原创 Hopper架构HGEMM详细解读
知乎参考：Hopper架构到HGEMM Git repo：fast.cu所有测试case参数： 数据类型：bf16 A,B,C 峰值算力：989TFLOPs，主频：1.83GHz 实际锁频但无法达到峰值频率，主频约1.59GHz，峰值算力约 859.3TFLOPs矩阵切分：kernel内切分：block内GEMM流程： 一个warp内的线程位置： Load A Block到SMEM。 Load B Block到SMEM。 在block内沿着BK方向在时间上累加。 加载A warptile到寄存器->fo
2025-10-11 14:33:00
551
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人