自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(14)
  • 收藏
  • 关注

原创 FlashAttention不加速注意力——昇腾CANN里的中间矩阵消失术

第一次看 catlass 源码的时候,以为它是 CUTLASS 的翻版。CUTLASS 是 NVIDIA 的 GEMM 模板库,用 C++ 模板元编程生成高性能的矩阵乘 kernel。catlass 名字里也有 “c” + “atlass”,很容易让人以为它是昇腾版的 CUTLASS。CUTLASS 是通用的 GEMM 模板库,目标是生成各种形状的矩阵乘 kernel。它生成的不是某一个算子,而是一族算子的实现模板。这个区分很重要。

2026-05-23 15:11:39 409

原创 catlass 不是 CUTLASS——它是昇腾 NPU 上的算子模板生成器

CUTLASS 是 NVIDIA 的 GEMM 模板库,用 C++ 模板元编程生成高性能的矩阵乘 kernel。catlass 名字里也有 “c” + “atlass”,很容易让人以为它是昇腾版的 CUTLASS。CUTLASS 是通用的 GEMM 模板库,目标是生成各种形状的矩阵乘 kernel。它生成的不是某一个算子,而是一族算子的实现模板。这个区分很重要。理解了这一点,你才能看懂 catlass 的代码结构,以及它和 ops-transformer 的关系——

2026-05-23 15:02:33 530

原创 Runtime不是跑kernel的——它是昇腾CANN里的执行层

昇腾NPU上的算子是怎么跑起来的?有人说"runtime就是负责跑kernel的",有人说"runtime管内存分配",还有人说"runtime就是CUDA runtime的对应物"。这些答案都有对的地方,但都没说到根子上。这个区分很重要。如果你的理解停留在"runtime负责调度kernel",那你永远调不好性能,也看不懂为什么同一个算子在不同batch size下延迟差了3倍。从FlashAttention的执行路径讲起。

2026-05-22 22:12:24 459

原创 CANN FlashAttention 不是算力加速器,它在昇腾NPU上做的是“偷懒“的数学

第一次跑Llama 3 70B推理的时候,序列长度拉到8192就OOM了。查了一圈发现不是模型权重太大——权重本身才14GB——吃显存的是注意力机制的中间矩阵。每个transformer层都要存一个N×N的注意力分数矩阵,12层叠起来,光这个中间结果就占了好几个GB。FlashAttention解决的正是这个问题。这个区分很重要。FlashAttention不是"算得更快"——昇腾NPU的Cube单元算矩阵乘本来就很快。它做的是"少搬数据"。

2026-05-22 22:01:35 407

原创 catlass不是CUTLASS——昇腾算子模板库的“写一次,跑N种算子“哲学

/ 文件:catlass/include/catlass/gemm/gemm.htemplate <typename ElementA, // 输入A类型(fp16/bf16/fp32)// 双缓冲级数为什么用模板元编程:Tile大小和数据类型都是编译期常量,编译器可以做常量折叠和循环展开,生成的代码比运行时传参快。

2026-05-21 20:41:52 193

原创 GQA不是压缩KV——它是在给KV Cache做“分组共享“

GQA(Grouped Query Attention)是Llama 2、Llama 3、Mistral都在用的技术。很多文章把GQA解释成"压缩KV Cache",这个说法不准确。

2026-05-21 20:37:48 328

原创 用Ascend C写一个MoE融合算子:从分散计算到流水线执行

MoE(Mixture of Experts)是大模型里常用的架构,Llama 3、Mixtral、DeepSeek都在用。它的计算流程看起来不复杂,但如果每个步骤单独调用算子,中间结果来回搬运,性能会非常差。这篇文章会拆解ops-transformer仓库里的MoE融合算子,看它是怎么把routing、gating、expert计算、结果聚合串成一条流水线的。我会把关键Ascend C代码展开讲。

2026-05-20 20:43:55 428

原创 用Ascend C写一个FlashAttention算子:从数学到昇腾NPU落地的完整过程

这篇文章会带你从零开始,理解FlashAttention的数学原理,然后看它在昇腾CANN异构计算架构里是怎么用Ascend C实现的。我会把关键代码拆开讲,让你知道每一行在干什么。

2026-05-20 20:31:32 365

原创 《Ascend C 高级优化实战:从理论到工业级部署》

在掌握 Ascend C 基础之后,如何将其应用于真实场景并实现工业级性能?本文聚焦高级优化技术,深入剖析昇腾 NPU 的微架构特性,结合 GEMM、Attention、Conv 等典型算子,系统讲解数据布局优化、计算融合、流水线调度、精度混合等关键技术。通过多个完整案例(含代码与性能数据),帮助开发者构建高性能、低功耗的 AI 推理/训练系统,并介绍 CANN 7.0 中的新特性(如 AOE 自动调优),助力项目快速落地。Ascend C 的高级优化是一门艺术,需要开发者兼具算法思维与硬件直觉。

2025-12-16 10:50:39 977

原创 《深入理解 Ascend C:华为昇腾 AI 处理器的高效编程语言》

随着人工智能模型规模的爆炸式增长,传统 CPU 和通用 GPU 在推理和训练任务中逐渐暴露出能效比低、延迟高等问题。为应对这一挑战,专用 AI 加速器成为行业主流方向。华为昇腾(Ascend)系列 AI 处理器正是在此背景下应运而生。为了充分发挥昇腾硬件的计算潜力,华为推出了Ascend C——一种专为昇腾 NPU(神经网络处理单元)设计的高性能编程语言。

2025-12-16 10:48:08 966

原创 《从零构建高性能 AI 算子:Ascend C 实战指南与性能调优秘籍》

模型中使用了非标准激活函数(如 SwiGLU、GeLU with approximation);需要实现稀疏注意力机制或自定义归一化层(如 RMSNorm);官方框架提供的算子在昇腾芯片上性能不佳或精度不匹配;想通过算子融合(Kernel Fusion)减少内存读写开销,提升端到端推理速度。此时,仅依赖 MindSpore、PyTorch 等高层框架的内置算子已无法满足需求。而Ascend C。

2025-12-15 19:43:55 892

原创 《深入理解 Ascend C:华为昇腾 AI 芯片的高性能编程语言全解析》

Ascend C 是华为为昇腾 AI 芯片(如 Ascend 910、Ascend 310)量身打造的高性能编程语言,本质上是C++17 的一个超集,通过扩展关键字、内置函数(Intrinsics)、编译器指令和运行时库,支持开发者直接编写运行在昇腾 NPU(Neural Processing Unit)上的自定义算子。注意:Ascend C 并非用于编写完整的 AI 模型训练/推理程序,而是专注于算子级开发上层应用仍由 MindSpore、PyTorch(通过插件)等框架驱动。。

2025-12-15 19:36:21 1015

原创 《从入门到精通:Ascend C 在大模型推理加速中的应用实践》

大模型(LLM)推理对延迟和吞吐提出极高要求。本文聚焦 Ascend C 如何在 Llama、ChatGLM 等主流大模型推理场景中发挥作用。通过剖析 Attention、RMSNorm、SwiGLU 等关键算子的 Ascend C 实现,结合 PagedAttention、KV Cache 优化等高级技术,展示如何将端到端推理延迟降低 40% 以上。同时,提供完整的部署 pipeline 与性能调优 checklist,助力开发者快速落地昇腾平台上的大模型服务。

2025-12-14 19:52:12 668

原创 《深入 Ascend C:面向昇腾 NPU 的高性能算子开发全解析》

Ascend C 是华为昇腾(Ascend)AI 处理器生态中的核心编程语言,专为在昇腾 NPU 上实现极致性能而设计。本文系统性地介绍 Ascend C 的设计哲学、内存模型、并行计算机制、数据搬运策略,并通过多个典型算子(如 GEMM、Conv2D、Softmax)的完整实现案例,深入剖析其编程范式与优化技巧。同时,结合 CANN(Compute Architecture for Neural Networks)工具链,讲解从代码编写到部署的全流程,为 AI 工程师提供一套完整的高性能算子开发方法论。

2025-12-14 19:39:46 1617

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除