Mary哈哈哈-优快云博客

原创 CANN Runtime调度FlashAttention的全流程：从一行Python到达芬奇内核

一行代码出结果。但从这行调用到真正在昇腾910的达芬奇架构上跑起来，中间经过了图编排、算子加载、Tiling参数计算、UB内存分配、任务流水线调度。完成这些工作的，是CANN Runtime。

2026-05-23 14:28:43 410

原创 CANN Runtime怎么调度FlashAttention算子？源码级拆解

一行代码出结果。但从这一行调用到真正在达芬奇架构上跑起来，中间经历了CCE编译、算子加载、图调度、UB管理、Tiling参数计算等一系列过程。这些过程全部由CANN Runtime主导。理解Runtime怎么调度FlashAttention，不只是为了"知其然"——在实际场景中，调度失败、编译报错、性能瓶颈的根因往往在Runtime层。

2026-05-23 14:23:44 358

原创昇腾NPU上FlashAttention算子住哪？ops-transformer仓库全景拆解

第一次在昇腾NPU上跑大模型推理的人，面对CANN生态的几十个仓库，第一反应通常是：FlashAttention算子在哪个仓库里？改算子要改哪个文件？编译完产物在哪？这些问题的答案全在里。这个仓库是昇腾CANN大模型算子的主仓库，FlashAttention、RMSNorm、RoPE、SwiGLU——Transformer架构用到的核心算子，实现全在这里。

2026-05-22 22:54:05 460

原创昇腾NPU上的FlashAttention藏在哪？ops-transformer仓库全景图

刚接触昇腾CANN生态的时候，光是找FlashAttention算子在哪就花了不少时间。官方文档按功能模块划分，仓库按层级划分，两套逻辑对不上号——文档里写的是"大模型算子优化"，仓库里是一个叫ops-transformer的目录。这种对应关系不搞清楚，改代码都不知道去哪改。ops-transformer是昇腾CANN大模型算子的主阵地。FlashAttention、RMSNorm、RoPE、SwiGLU——大模型推理训练用到的核心算子，全在这个仓库里。

2026-05-22 22:48:28 413

原创在昇腾NPU上从零跑通FlashAttention：cann-learning-hub实践全记录

去年底接到一个任务：把内部的7B推理服务从A100迁移到昇腾910，attention部分得换成FlashAttention。论文读过，原理懂，但真到昇腾NPU上动手就抓瞎——环境怎么配、算子怎么调、性能怎么测，全得从头摸索。后来顺着cann-learning-hub的学习资源走了一遍，花了五天把FlashAttention从"能跑"调到"跑得快"。整个过程记录下来，给同样在迁移路上的人参考。

2026-05-21 11:54:08 475

原创昇腾CANN里FlashAttention到底在算什么？cann-learning-hub学习路线拆解

你有没有这种感觉：FlashAttention的论文读了三遍，分块计算的原理能背出来，但一到昇腾NPU上动手写，就不知道从哪下手？我之前也是这样——理论跟实践之间差着一道鸿沟。后来在cann-learning-hub上顺着它的学习路径走了一遍，才把FlashAttention从"纸上公式"变成"能跑的算子"。这个认知纠偏很重要。

2026-05-21 11:44:04 353

原创昇腾CANN上FlashAttention的工程实践：catlass模板调优全记录

去年我们把一个13B参数的推理服务从GPU迁移到昇腾NPU，attention部分从标准实现换成catlass模板的FlashAttention，吞吐从1,200 tokens/s提到4,800 tokens/s。但这个过程不是"换个模板就完事"——数据布局、精度对齐、分块策略、算子融合，每一步都有坑。今天把整个调优过程记录下来，包含具体的配置参数和实测数据。

2026-05-20 13:28:29 440

原创昇腾CANN上手指南：用catlass模板写一个FlashAttention算子

上个月接到一个任务：把自研大模型的推理服务从GPU迁移到昇腾NPU，attention部分用标准实现太慢，得自己写高性能版本。翻了半天资料，最终决定用catlass这个模板库来搞。踩了不少坑，今天把完整过程写下来，省得大家重复走弯路。

2026-05-20 13:16:28 193

原创深入解析 Ascend C：华为昇腾 AI 芯片的高效编程语言

昇腾芯片基于达芬奇（Da Vinci）架构，其核心计算单元是AI CoreCube 单元：用于执行高效的矩阵乘加运算（如 INT8/FP16 的 GEMM）；Vector 单元：处理向量化操作（如激活函数、归一化）；Scalar 单元：负责控制流与标量计算；：片上高速缓存，用于数据暂存；L1/L0 缓存：多级存储层次，优化数据访问带宽。这种异构计算架构要求编程模型必须精细管理数据搬运、计算调度与内存布局，传统 CUDA 或 OpenCL 难以直接适配。

2025-12-18 21:43:29 1282

原创深入Ascend C：昇腾AI芯片的高性能编程语言全解析

并非通用C语言，而是基于C++17标准扩展的领域特定嵌入式语言（Embedded DSL）aoeaic运行时：CANN（Compute Architecture for Neural Networks）提供底层支持// 定义输入输出Tensor描述) {// 获取当前线程块信息// 计算全局偏移// 向量化加载（支持float16/float32/int8等）// SIMD计算// 存储结果。

2025-12-18 21:36:21 1262

2501_93856656的博客