【Triton 教程】triton_language.where

模型服务化实战:Triton+KServe构建高可用ML推理架构 模型服务化是机器学习从实验走向生产的核心环节,其本质是将训练好的模型封装为低延迟、高并发、可观测的API服务。它涉及模型序列化(如ONNX转换)、推理引擎选型(Triton vs TorchScript)、Kubernetes编排(KServe)、API网关治理(Kong)及全链路可观测性(Prometheus+Grafana+ELK)。技术价值在于突破Python GIL限制、实现动态批处理与GPU资源高效利用,并支撑A/B测试、灰度发布与实时反馈闭环等关键工程能力。典型应用场景包括电商搜索排序、金融实时 阅读详情

Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境,以高效编写自定义 DNN 计算内核,并能够在现代 GPU 硬件上以最大吞吐量运行。

更多 Triton 中文文档可访问 →triton.hyper.ai/

triton.language.where(condition, x, y)

根据 condition 返回来自 x 或 y 元素的张量。
注意:无论 condition 的值是什么,x 和 y 总是会被求值。
如果希望避免意外的内存操作,请使用 triton.load 和 triton.store 中的 mask 参数。
x 和 y 的形状都会被广播到 condition 的形状。x 和 y 必须具有相同的数据类型。
参数**:**

  • condition(triton.bool 的块)- 当为 True(非零)时,产生 x,否则产生 y。
  • x - 在条件为 True 的索引处选择的值。
  • y - 在条件为 False 的索引处选择的值。
Triton编程:AI加速器上的硬件感知抽象与高性能算子开发 AI加速器编程正从底层CUDA手写转向高生产力、硬件感知的抽象范式。Triton作为领域专用语言(DSL),通过编译器自动管理shared memory、硬件适配tiling和Python-native调试,将张量计算逻辑与微架构细节解耦。其核心价值在于降低GPU编程门槛,提升算子可移植性与可维护性,同时保障接近原生CUDA的性能。在大模型推理、FlashAttention优化、量化部署等典型场景中,Triton已验证其在matmul、softmax、layernorm等规则张量计算任务中的工程优势。本文聚 阅读详情

相关推荐

中心对数比变换(Centered Log Ratio Transformation,CLR)的原理及scikit-bio介绍

中心对数比变换(Centered Log Ratio Transformation,CLR)是一种数据预处理方法,常用于成分数据分析领域。在成分数据中,各成分之间通常存在一定的约束关系,比如它们的和为固定值等,中心对数比变换可以有效地处理这种具有特殊约束的数据。官方文档scikit-bio是一个在Python3中处理生物数据的库成分统计 (skbio.stats.composition )模块中的,此函数将组合从Aitchison几何体转换到真实空间。这个clr。

RECORD LEARN PROGRESS 1万+

Triton教程 -- 利用Triton部署你自己的模型

我的模型与 Triton 兼容吗?如果您的模型属于 Triton 支持的后端之一,那么我们可以简单地尝试按照快速入门指南中的描述部署该模型。对于 ONNXRuntime、TensorFlow SavedModel 和 TensorRT 后端,可以使用 Triton 的自动完成功能从模型中推断出最小模型配置。这意味着可能仍会提供 config.pbtxt,但不是必需的,除非您想明确设置某些参数。

专注于人工智能领域的小何尚 8537

西门子200SMART自定义库开发实战:从PID到露点算法的工业应用

本文详细介绍了西门子200SMART自定义库开发实战,涵盖从PID控制到露点算法的工业应用。通过代码封装技巧、多语言支持和性能优化等高级开发方法,帮助工程师提升PLC编程效率。文章特别强调了自创库在实际项目中的优势,如恒温恒湿控制系统的成功案例,展示了自定义库在工业自动化中的强大应用价值。

lake5的博客 1027

CANNBot技能-比较与逻辑操作API

本文档详细描述 Triton-Ascend 中的比较操作、逻辑操作、移位操作和 `where` 操作 API。比较操作包括 `eq`/`ne`/`lt`/`le`/`gt`/`ge`,逻辑操作包括 `and`/`or`/`xor`/`not`/`logical_and`/`logical_or`/`invert`/`neg`,移位操作包括 `lshift`/`rshift`,条件选择操作为 `wh

gitblog_00271的博客 402

合泰单片机HT32之keil5开发环境搭建(一)

1. 前言 这两天在准备合泰杯,但是总是感觉无从下手,因为合泰单片机的资料教程什么的非常少,不像stm32那样。而且听说要用合泰单片机的专用IDE,感觉当场被劝退了。后来经过查找资料,发现合泰单片机也有keil5的支持包,也就是说可以从库函数进行开发,不用从寄存器进行开发,但我找了好久,并没有找到教程,后来实在没办法,打算自己动手搭建环境,经过了大概两天的挣扎后,终于成功地搭建好了环境,也成功地点...

weixin_44713763的博客 8670

opencv的cmake报错

1、下载 ippicv_2021.8_win_intel64_20230330_general.zip、v0.1.2a.zip、opencv_videoio_ffmpeg.dll、opencv_videoio_ffmpeg_64.dll、ffmpeg_version.cmake。由于下载源在https://raw.githubusercontent.com,由于网络原因下载不顺畅,可以先找到文件下载到对应文件夹下,或者更改网络环境。ffmpeg_version.cmake文件,打开后显示如下, 另存即可。

nownow_的博客 1299

UniHacker 使用指南:三步破解 Unity 与 UnityHub,附全平台版本对照表

UniHacker 是一款跨平台的开源 Unity / UnityHub 补丁工具,覆盖 Windows、macOS、Linux 和 Docker 环境。它的核心功能是:选中国际版 Unity 的可执行文件,工具自动识别版本与 CPU 架构,把许可证验证逻辑替换为"已通过",通常几十秒内完成,让你在不购买授权的情况下体验 Unity 的专业版功能。 ## 装前准备:先确认你拿到的是"国际版"

gitblog_00604的博客 979

高光谱图像处理和分析软件(包含雷尼绍Renishaw wdf 文件导入解析功能)

是一款基于微软windows操作系统的多传感器成像工具,用于处理和分析高光谱图像。它是一个模块化的系统,由一个基本的引擎,一个图形用户界面,一个化学计量工具箱和可选的用户提供的模块组成。它支持最重要的光谱成像技术,如UV/Vis、红外、拉曼、太赫兹、光发射/吸收和质谱。除此之外,还允许用户将高光谱图像与物理属性图和传统高分辨率彩色照片合并在一起 链接:https://pan.baidu.com/s/1ruQ5YSh5_ZS9wx_V3Q5Oow 提取码:qdx0 ...

业余程序员小徐的博客 8072

Triton语言cos函数实现与GPU优化实践

在GPU高性能计算中,数学函数优化是提升计算效率的关键。以余弦函数为例,其多项式近似算法通过泰勒展开实现高精度计算,而硬件加速则依赖Tensor Core的并行计算能力。Triton语言通过编译器优化和内存访问模式改进,使cos函数在信号处理、物理模拟等场景获得显著性能提升。本文以计算机视觉项目为例,展示如何通过Triton实现频域变换优化,相比传统CUDA方案可获得30%的性能提升。关键技术点包括多项式近似算法选择、自动向量化处理以及混合精度计算策略,这些优化手段同样适用于其他数学函数的GPU加速场景。

weixin_34290631的博客 404

【DRAM存储器一】基本存储单元、阵列结构、读写原理

详述DRAM存储器存储单元、存储阵列结构和读写原理

highman110的博客 7256

神经影像和人类基因组关联分析的实践过程

现代全脑转录图谱为研究脑组织的分子相关性提供了前所未有的机会,可以使用无创神经成像进行量化。然而,将神经影像学数据与转录组测量相结合并不是直截了当的,需要仔细考虑才能做出有效的推断。在本文中,我们回顾了最近的研究工作,探讨了不同的方法选择如何影响成像转录组学分析的三个主要阶段,包括1)转录图谱数据的处理;2)将转录测量与独立衍生的神经影像学表型相关联;3)通过基因富集分析评估鉴定的关联的功能意义。我们的目标是为这个快速发展的领域促进标准化和可复制方法的发展。

从事脑科学核磁共振方法学研究,在Nature communications等权威期刊发表研究论文,熟练掌握磁共振处理方法和统计学方法,欢迎大家和我交流。 2201

GPU Triton到Ascend NPU迁移概览

当 Agent 收到将 GPU Triton 算子迁移到 NPU 的任务时,按本文档执行迁移。典型场景: - 用户提供了在 `device='cuda'` 上运行的 Triton kernel,要求适配到 Ascend NPU - 用户要求将已有 GPU Triton 算子移植到 910_95 平台 - 用户遇到 GPU→NPU 迁移后的编译/运行错误,需要排查 --- ## 核心知识:GP

gitblog_00364的博客 867

Yolo11改进:Block改进|MixDehazeNet,用于图像去雾网络的混合结构块|即插即用|附代码

https://arxiv.org/pdf/2305.17654 图像去雾是低级视觉领域中的一项典型任务。先前的研究验证了大型卷积核和注意力机制在去雾中的有效性。然而,存在两个缺点:引入大型卷积核时容易忽略图像的多尺度特性,而注意力模块的标准串联方式没有充分考虑雾分布的不均匀性。在本文中,我们提出了一种名为混合结构图像去雾网络(MixDehazeNet)的新型框架,该框架解决了上述两个问题。具体而言,它主要由两部分组成:多尺度并行大型卷积核模块和增强并行注意力模块。与单个大型卷积核相比,多尺度的并行大型卷积

m0_47867638的博客 1273

Triton API 在 Ascend 910_95 NPU 上的差异速查

> 触发条件:在迁移或编写 Triton kernel 时,需要确认 API 在 910_95 上的行为差异、替代方案或 NPU 特有扩展。 --- ## 1. API 差异速查表 ### 1.1 不支持的 API 及替代方案 | API | 不支持内容 | 替代方案 | 说明 | |-----|-----------|---------|------| | `tl.load` / `tl

gitblog_00169的博客 342

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

CANN Triton代码迁移模式

将 Triton 算子从 GPU 迁移到 NPU 时,需要系统性地替换设备标识、调整 Grid 配置、修改参数设置和适配数据类型。本文总结了常见的代码迁移模式,每个模式都提供具体的 diff 示例,帮助开发者快速完成迁移工作。 ## 关键概念 | 迁移项 | GPU 写法 | NPU 写法 | 说明 | |--------|---------|---------|------| | 设备标识

gitblog_00232的博客 352

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

CANN Triton矩阵乘法优化

矩阵乘法是深度学习中最核心的计算操作,也是 Triton 优化难度最高的 kernel 之一。NPU 上的矩阵乘法需要充分利用 Cube 计算单元(矩阵乘加速器),通过分块策略、存算并行、对角线分核等优化手段达到高性能。 | 关键概念 | 说明 | |---------|------| | 分块策略 | BLOCK_M/BLOCK_N/BLOCK_K 三维分块,适配片上存储 | | `tl.do

gitblog_00479的博客 455

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

Triton语言中cos函数的高效实现与优化技巧

在GPU高性能计算领域,数学函数如cos的实现对并行计算性能至关重要。Triton语言通过多项式逼近算法(如Remez算法优化)实现cos函数,相比直接调用CUDA数学库可提升30%性能。这种实现方式避免了线程束分化,更好地利用寄存器资源,并能与其他操作融合计算。在物理仿真、图像处理等需要大规模cos计算的场景中,Triton的优化技巧(如合理设置BLOCK_SIZE、掩码处理边界条件)能显著提升性能。通过实际项目验证,Triton的cos实现在RTX 3090上耗时仅1.2ms,最大误差2e-7,适合对性

weixin_30500473的博客 275

CANNBot Triton自动调优指南

Triton 的 `@triton.autotune` 装饰器是 Tiling 优化的核心配套工具,能够自动遍历预设的参数配置,通过实际运行对比性能,自动选择最优参数组合。Triton-Ascend 在此基础上扩展了 `AutoTilingTuner`,实现了自动分块调优功能,能够根据算子特征和硬件参数自动生成候选分块配置,大幅减少手动调参的工作量。 ## 关键概念 | 概念 | 说明 | 使

gitblog_00059的博客 354

CANN/cannbot-skills Triton原子操作API及NPU限制

本文档详细描述 Triton-Ascend 中的原子操作 API,包括 `atomic_add`、`atomic_and`、`atomic_or`、`atomic_xor`、`atomic_xchg`、`atomic_cas`、`atomic_max` 和 `atomic_min`。原子操作保证在多线程并发访问同一内存地址时的数据一致性,是并行计算中实现同步和数据聚合的关键机制。在 Ascend

gitblog_00127的博客 495

[Triton笔记6]层标准化

(即 Hidden Dimension,记为。

ouliten的博客 399

Triton+KServe构建高可用机器学习模型服务

机器学习模型服务化是将训练完成的模型投入生产环境的关键环节,其核心在于解决从研究范式到工程范式的跨越——即保障高并发、低延迟、可观测与可运维。NVIDIA Triton作为高性能推理服务器,通过统一后端抽象、动态批处理和GPU内核优化显著提升吞吐与稳定性;KServe则提供Kubernetes原生的声明式模型部署能力,支持灰度发布、自动扩缩容与多框架集成。二者组合成为当前云原生MLOps架构中兼顾性能、可靠性与运维效率的主流技术栈,广泛应用于实时推荐、智能客服、风控决策等对SLA要求严苛的AI生产场景。

weixin_33910385的博客 364

WinMerge 多语言翻译实战指南:PO 文件工作流与自定义 i18n 引擎解析

本篇指南以 WinMerge 仓库中的 [Translations/README.md](https://link.gitcode.com/i/9cb27c38a7743394e42407010f8bf292) 为核心,系统讲解该开源差异比较与合并工具的多语言翻译体系:主程序、ShellExtension(资源管理器右键集成)、InnoSetup 安装器、ReadMe 文档四个翻译域的完整工作流。

gitblog_00849的博客 492

cann/cannbot-skills: Triton编译提示与扩展API速查

当 agent 需要使用 NPU 特有扩展 API 或编译提示时查阅本文档。典型场景包括: - 需要打断 Vector Fusion 防止 UB 溢出 - 需要使用 `insert_slice` / `extract_slice` / `get_element` 进行张量切片 - 需要控制 NaN 传播行为 - 需要使用 Cube-Vector 同步操作 - 需要注册或调用自定义算子 - 需要使用

gitblog_00414的博客 383

CANN/cannbot-skills:Ascend Pooling算子Triton优化指南

本指南为 Ascend NPU 上 Pooling 算子(AvgPool/MaxPool,2D/3D)的 Triton 实现提供**完整的、可复现的**优化方法论。每个 Phase 包含:识别条件 → 代码模板 → 预期收益 → 常见陷阱。 **适用算子**:MaxPool3d / AvgPool3d / MaxPool2d / AvgPool2d **目标平台**:Ascend 910B1

gitblog_00849的博客 492

CANN/cannbot-skills Triton数据类型支持矩阵与约束

Triton 支持丰富的数据类型,包括整数类型(int1/8/16/32/64, uint8/16/32/64)、浮点类型(float16/32/64, bfloat16)以及多种 FP8 格式(fp8e4nv, fp8e4b15, fp8e4b8, fp8e5, fp8e5b16)。在昇腾 NPU 上,由于硬件架构差异,部分数据类型的支持状态与 GPU 不同:uint8/16/32/64 和 f

gitblog_00593的博客 282

从Notebook到生产:构建可信赖的ML系统韧性架构

机器学习模型部署不是简单的API封装,而是面向真实世界不确定性的系统工程。其核心在于理解模型服务的动态性——数据分布漂移、特征逻辑变更、硬件资源波动等持续挑战着‘静态函数’式假设。技术价值体现在通过功能解耦、契约驱动与可观测性闭环,实现故障可预期、影响可收敛、恢复可编排。典型应用场景包括电商推荐实时服务、金融风控在线推理、广告点击率预估等对延迟、稳定性与归因效率有严苛要求的产线系统。本文聚焦Triton模型服务、特征一致性保障与KS检验驱动的漂移监控等关键实践,直击从Jupyter到Kubernetes落地

3769
上一篇: 【vLLM 学习】Rlhf Utils
下一篇: 【TVM教程】模块序列化指南
HyperAI超神经
博客等级 码龄7年 8872粉丝 1753原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值