【Triton 教程】triton_language.zeros

Triton编程:AI加速器上的硬件感知抽象与高性能算子开发 AI加速器编程正从底层CUDA手写转向高生产力、硬件感知的抽象范式。Triton作为领域专用语言(DSL),通过编译器自动管理shared memory、硬件适配tiling和Python-native调试,将张量计算逻辑与微架构细节解耦。其核心价值在于降低GPU编程门槛,提升算子可移植性与可维护性,同时保障接近原生CUDA的性能。在大模型推理、FlashAttention优化、量化部署等典型场景中,Triton已验证其在matmul、softmax、layernorm等规则张量计算任务中的工程优势。本文聚 阅读详情

Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境,以高效编写自定义 DNN 计算内核,并能够在现代 GPU 硬件上以最大吞吐量运行。

更多 Triton 中文文档可访问 →https://triton.hyper.ai/

triton.language.zeros(shape, dtype

对于给定的shape 和 dtype,返回 1 个填充了标量值 0 的张量。

参数:

  • shape (tuple of ints) - 新数组的形状,例如 (8,16) 或 (8,)。
  • dtype (DType) - 新数组的数据类型,例如 tl.float16。
Qwen3.5-35B-A3B专用推理引擎:从vLLM失效到Triton内核重写 MoE大模型推理引擎是支撑稀疏专家混合架构高效服务的核心运行时系统,其本质是将动态路由、异构专家计算与自适应注意力等复杂逻辑转化为低延迟、高吞吐的GPU张量运算。传统框架如vLLM依赖静态拓扑假设,难以应对Qwen3.5-35B-A3B特有的动态Top-K路由和专家异构性,导致显存碎片率飙升、延迟抖动严重。Triton作为可编程GPU内核工具,通过细粒度内存布局控制与runtime-aware kernel设计,成为突破A3B架构工程瓶颈的关键路径。本文聚焦于在真实生产场景中构建高性能MoE推理引擎的技术实 阅读详情

相关推荐

S.BUS协议及编解码,C语言源码

1、简介 SBUS本质是一种串口通信协议,采用100K的波特率,8位数据位,两位停止位,偶效验,即8E2的串口通信。 值得注意的有三点: 1.SBUS采用负逻辑,所以无论接收还是发送都要进行硬件取反(注意,一定要硬件取反),电路如下 这是我在网上看资料时看到的电路,实际上我用的是下面这个电路 2.SBUS有两种模式, a.高速模式:每4ms发送一次 b...

qq_31232793的博客 1万+

【Triton 教程】triton_language.zeros_like

Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境,以高效编写自定义 DNN 计算内核,并能够在现代 GPU 硬件上以最大吞吐量运行。

HyperAI超神经 258

PWM与光耦的完美联姻:低成本4-20mA转换方案揭秘

本文揭秘了PWM与光耦结合的低成本4-20mA转换方案,适用于工业自动化领域。通过PWM信号控制输出电流,光耦实现电气隔离,该方案成本低廉、电路简单且隔离可靠。文章详细介绍了两种经典电路实现方案,包括四光耦线性模式方案和PWM控制LM317方案,并提供了实战技巧与优化策略,帮助中小企业和电子DIY爱好者构建经济高效的4-20mA转换系统。

weixin_29229055的博客 536

Triton语言cos函数实现与GPU优化实践

在GPU高性能计算中,数学函数优化是提升计算效率的关键。以余弦函数为例,其多项式近似算法通过泰勒展开实现高精度计算,而硬件加速则依赖Tensor Core的并行计算能力。Triton语言通过编译器优化和内存访问模式改进,使cos函数在信号处理、物理模拟等场景获得显著性能提升。本文以计算机视觉项目为例,展示如何通过Triton实现频域变换优化,相比传统CUDA方案可获得30%的性能提升。关键技术点包括多项式近似算法选择、自动向量化处理以及混合精度计算策略,这些优化手段同样适用于其他数学函数的GPU加速场景。

weixin_34290631的博客 404

Unity物理引擎实战:从刚体重心到碰撞体,打造真实不倒翁交互

刚体(Rigidbody)是Unity物理系统的核心组件,它定义了游戏对象的物理属性,如质量、阻力和碰撞响应。其原理基于牛顿力学,通过物理引擎(如PhysX)实时计算物体的运动状态。在游戏开发中,刚体的价值在于能够模拟真实世界的物理行为,为玩家提供沉浸式的交互体验。碰撞体(Collider)则定义了物体的形状边界,用于检测与其他物体的接触。通过精细调整刚体的重心(Center of Mass)和碰撞体形状,开发者可以模拟出各种有趣的物理现象,例如低重心物体的动态平衡。这在休闲游戏、物理玩具模拟等场景中尤为实

weixin_33976326的博客 355

从标记基因到功能分析:手把手教你人工注释单细胞亚群的完整流程

本文详细介绍了人工注释单细胞亚群的完整流程,从标记基因筛选到功能分析验证,特别针对肿瘤微环境、发育轨迹等复杂场景提供解决方案。通过差异表达分析、多维数据整合和实验验证,帮助研究者准确识别细胞类型,提升单细胞转录组研究的生物学解读深度。

jenkins8butler的博客 244

CANN Triton矩阵乘法优化

矩阵乘法是深度学习中最核心的计算操作,也是 Triton 优化难度最高的 kernel 之一。NPU 上的矩阵乘法需要充分利用 Cube 计算单元(矩阵乘加速器),通过分块策略、存算并行、对角线分核等优化手段达到高性能。 | 关键概念 | 说明 | |---------|------| | 分块策略 | BLOCK_M/BLOCK_N/BLOCK_K 三维分块,适配片上存储 | | `tl.do

gitblog_00479的博客 455

ANPC三电平拓扑:两种调制方式解析

ANPC结构是基于“I”型NPC结构(下面讲NPC如不特殊说明,均指的是“I”型结构NPC)发展出来的一种改进型。我们在讲NPC结构的时候会谈到他的一个缺点就是损耗分布不均匀,会导致温升不均衡,进而限制模块的功率输出能力。而ANPC结构由于多了两个开关管以及相应的两个中性点换流回路(如下图),可以更加灵活任意的配置开关管可以使损耗没有那么的不均衡,从而能一定程度上提高模块的输出功率。ANPC拓扑结构图以及增加的环流回路。

IOTBOT的博客 9484

[Triton笔记6]层标准化

(即 Hidden Dimension,记为。

ouliten的博客 399

Eureka常见面试题总结

点击关注我的博客原文 Eureka是Netflix组件的一个子模块,也是核心模块之一。云端服务发现,一个基于 REST 的服务,用于定位服务,以实现云端中间层服务发现和故障转移(来源springcloud中文网的介绍:https://www.springcloud.cc/)。下图总结了Eureka服务端(以下简称服务端)与Eureka客户端(以下简称客户端)之间协同工作的流程: 流程说明:...

u012105931的博客 2万+

全志V3S嵌入式驱动开发(编译器升级到7.5)

【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 看过我们文章的朋友都知道,前面为了做v3s的驱动,对linux kernel进行了两次升级。第一次升级时从4.10.y升级到4.14.y,另外一次升级是从4.14.y升级到5.2.y。这中间最主要的原因,就是为了驱动适配的需要,更新的内核可以对硬件驱动有更好的支持,架构也更合理。 如果说内核升级尚且可以理解,那为什么要对编译器升级呢?这里面,最重要的一点就是语言的升

嵌入式-老费,一个分享专业嵌入式知识的blog 1166

CANN Triton自定义算子注册

Triton-Ascend 提供了自定义算子机制,允许开发者通过 `@register_custom_op` 装饰器注册自定义算子类,然后通过 `al.custom()` 在 kernel 中调用。自定义算子机制是 Triton-Ascend 扩展 CANN 算子生态的核心接口,支持将 CANN 自定义算子(通过 bitcode 提供)集成到 Triton kernel 中。 此外,Triton

gitblog_00725的博客 293

YOLO系列算法改进 | C3k2改进篇 | 融合MambaOut轻量化门控架构 | 纯卷积实现超越Mamba性能的同时兼顾极致轻量化与边缘部署效率 | CVPR 2025

YOLO系列算法改进 | C3k2改进篇 | 融合MambaOut轻量化门控架构 | 纯卷积实现超越Mamba性能的同时兼顾极致轻量化与边缘部署效率 | CVPR 2025 (以YOLOv26最新目标检测模型为基础,利用C3k2_MambaOut创新模块进行改进)

2502_91881744的博客 224

CANNBot Triton自动调优指南

Triton 的 `@triton.autotune` 装饰器是 Tiling 优化的核心配套工具,能够自动遍历预设的参数配置,通过实际运行对比性能,自动选择最优参数组合。Triton-Ascend 在此基础上扩展了 `AutoTilingTuner`,实现了自动分块调优功能,能够根据算子特征和硬件参数自动生成候选分块配置,大幅减少手动调参的工作量。 ## 关键概念 | 概念 | 说明 | 使

gitblog_00059的博客 354

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

Triton语言中cos函数的高效实现与优化技巧

在GPU高性能计算领域,数学函数如cos的实现对并行计算性能至关重要。Triton语言通过多项式逼近算法(如Remez算法优化)实现cos函数,相比直接调用CUDA数学库可提升30%性能。这种实现方式避免了线程束分化,更好地利用寄存器资源,并能与其他操作融合计算。在物理仿真、图像处理等需要大规模cos计算的场景中,Triton的优化技巧(如合理设置BLOCK_SIZE、掩码处理边界条件)能显著提升性能。通过实际项目验证,Triton的cos实现在RTX 3090上耗时仅1.2ms,最大误差2e-7,适合对性

weixin_30500473的博客 275

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

利用Triton编译器为RISC-V架构定制高性能AI计算内核

在异构计算领域,编译器技术是连接高级算法与底层硬件性能的关键桥梁。其核心原理在于将抽象的计算描述转化为高效的机器指令,通过自动向量化、循环优化和内存访问调度等技术,最大化硬件算力。这一技术价值在RISC-V这类新兴开源指令集架构上尤为凸显,因其生态中的高性能计算库尚在发展中。Triton作为一款创新的Python原生编译器,允许开发者以高级语法编写计算内核,并自动生成优化的LLVM中间表示,为跨平台性能移植提供了新路径。本文聚焦于将Triton与RISC-V向量扩展(V扩展)结合,通过构建定制化工具链,探索

weixin_30292843的博客 349

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Triton GPU编程:用Python编写高性能AI算子的原理与实践

GPU加速计算的核心在于高效利用硬件并行性与内存带宽,其底层依赖对SM调度、shared memory bank、warp divergence等架构特性的精细控制。传统CUDA开发需深入硬件手册,抽象层级低、跨平台难、调试成本高;而Triton通过将Python函数作为IR、编译器动态生成SASS指令,实现了‘高层语义+硬件感知’的统一。它自动处理memory coalescing、bank conflict规避、Tensor Core映射等关键优化,显著降低custom op开发门槛。在A100/H10

weixin_30381317的博客 407

CANN Triton Buffer模型

Buffer 编程模型是 Triton-Ascend 在标准 Tensor 编程模型之外提供的另一种数据抽象。与 Tensor 模型关注计算语义不同,Buffer 模型关注内存布局和地址空间,允许开发者直接控制数据在 NPU 片上存储(UB、L1、L0C)中的分配和访问。 Buffer 模型是 fixpipe、copy 等底层操作的基础,也是 Cube-Vector 协同计算中数据共享的关键机制

gitblog_00041的博客 293

cann/cannbot-skills: Triton编译提示与扩展API速查

当 agent 需要使用 NPU 特有扩展 API 或编译提示时查阅本文档。典型场景包括: - 需要打断 Vector Fusion 防止 UB 溢出 - 需要使用 `insert_slice` / `extract_slice` / `get_element` 进行张量切片 - 需要控制 NaN 传播行为 - 需要使用 Cube-Vector 同步操作 - 需要注册或调用自定义算子 - 需要使用

gitblog_00414的博客 383

CANN/cannbot-skills Triton向量操作

Triton-Ascend 扩展了一组向量操作(vec_ops),提供了标准 Triton API 中不具备或功能不同的张量操作。这些操作包括张量切片(insert_slice/extract_slice)、元素访问(get_element)、排序(sort)、翻转(flip)和增强的类型转换(cast)。 这些操作在昇腾 NPU 上有专门的硬件支持,通过 SIMD 指令高效执行。 ## 关键

gitblog_00920的博客 457

Triton外部函数:GPU编程中C++高性能库的无缝集成指南

在GPU编程领域,高性能计算往往需要结合高级抽象与底层优化。Triton作为一种新兴的GPU编程语言,通过其外部函数机制,实现了Python灵活性与C++极致性能的融合。该机制基于LLVM Bitcode在编译期进行链接,允许开发者直接在Triton内核中调用C++函数,性能损耗极低。其核心价值在于能够无缝集成现有高性能库、调用特定硬件指令,并处理复杂控制流,从而扩展了Triton的内置能力边界。在应用场景上,它特别适用于集成如cuBLAS等权威数值库、封装硬件内在函数以实现Tensor Core等特定计算

weixin_34032792的博客 268

CANN/cannbot-skills:Triton线性代数API

本文档详细描述 Triton-Ascend 中的线性代数操作 API,包括 `tl.dot` 和 `tl.dot_scaled`。矩阵乘法是深度学习中最核心的计算操作,在 Ascend NPU 上由 Cube 计算单元(矩阵计算单元)执行,对应 GPU 上的 Tensor Core。理解 Cube 管线的工作方式、数据布局要求(ND2NZ 转换)、分块策略以及精度控制,对于在 NPU 上编写高性能

gitblog_00982的博客 329

CANN/cannbot-skills Triton数据类型支持矩阵与约束

Triton 支持丰富的数据类型,包括整数类型(int1/8/16/32/64, uint8/16/32/64)、浮点类型(float16/32/64, bfloat16)以及多种 FP8 格式(fp8e4nv, fp8e4b15, fp8e4b8, fp8e5, fp8e5b16)。在昇腾 NPU 上,由于硬件架构差异,部分数据类型的支持状态与 GPU 不同:uint8/16/32/64 和 f

gitblog_00593的博客 282

CANN/cannbot-skills:Fused SwiGLU迁移实例

当 Agent 迁移 Fused SwiGLU 类算子(融合 SiLU 门控线性单元)到 NPU 时,参考本文档。典型场景: - 将 GPU 版 FusedSwiGLU kernel 迁移到 Ascend 910_95 - 迁移包含前向(fwd)、反向 bias(bwd_b)、反向输入(bwd_x)、反向权重(bwd_w)四个子 kernel 的融合算子 - 遇到 SwiGLU 相关的 auto

gitblog_00585的博客 377
上一篇: 58k+ star! RAGFlow 集成 Qwen3 Embedding,轻松处理复杂格式数据;Webclick 解锁网页理解新维度
下一篇: 蛋白质结构预测/功能注释/交互识别/按需设计,中国海洋大学张树刚团队直击蛋白质智能计算核心任务
HyperAI超神经
博客等级 码龄7年 8872粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值