墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
200+累计阅读
229平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。
更多 Triton 中文文档可访问 →https://triton.hyper.ai/
triton.language.full(shape, value, dtype)
返回一个张量，该张量填充了指定 shape 和 dtype 的标量值。
参数：
tl.float16。Triton编程：AI加速器上的硬件感知抽象与高性能算子开发
AI加速器编程正从底层CUDA手写转向高生产力、硬件感知的抽象范式。Triton作为领域专用语言（DSL），通过编译器自动管理shared memory、硬件适配tiling和Python-native调试，将张量计算逻辑与微架构细节解耦。其核心价值在于降低GPU编程门槛，提升算子可移植性与可维护性，同时保障接近原生CUDA的性能。在大模型推理、FlashAttention优化、量化部署等典型场景中，Triton已验证其在matmul、softmax、layernorm等规则张量计算任务中的工程优势。本文聚
UniHacker 使用指南：三步破解 Unity 与 UnityHub，附全平台版本对照表
UniHacker 是一款跨平台的开源 Unity / UnityHub 补丁工具，覆盖 Windows、macOS、Linux 和 Docker 环境。它的核心功能是：选中国际版 Unity 的可执行文件，工具自动识别版本与 CPU 架构，把许可证验证逻辑替换为"已通过"，通常几十秒内完成，让你在不购买授权的情况下体验 Unity 的专业版功能。 ## 装前准备：先确认你拿到的是"国际版"
从零构建大语言模型：斯坦福CS336课程实战指南
Transformer架构作为现代大语言模型的核心基础，通过自注意力机制实现了对序列数据的高效建模。其原理在于将输入序列映射为查询、键、值三个矩阵，通过注意力权重计算实现全局依赖关系捕捉。这一技术价值在于突破了传统RNN的顺序计算限制，支持并行化训练，为大规模语言模型的发展奠定了基础。在实际应用场景中，Transformer广泛应用于机器翻译、文本生成、代码补全等领域。基于斯坦福CS336课程的实战经验，开发者可以深入理解从Tokenizer实现、FlashAttention优化到RLHF对齐的完整构建流程
CANNBot Triton自动调优指南
Triton 的 `@triton.autotune` 装饰器是 Tiling 优化的核心配套工具，能够自动遍历预设的参数配置，通过实际运行对比性能，自动选择最优参数组合。Triton-Ascend 在此基础上扩展了 `AutoTilingTuner`，实现了自动分块调优功能，能够根据算子特征和硬件参数自动生成候选分块配置，大幅减少手动调参的工作量。 ## 关键概念 | 概念 | 说明 | 使
TileGym GPU编程实战：从基础到Flash Attention优化
GPU编程作为深度学习和大语言模型性能优化的核心技术，通过并行计算架构大幅提升计算效率。Tile-based编程范式将计算任务分解为更小的瓦片单元，在GPU流多处理器上独立执行，有效利用内存层次结构减少全局内存访问。这种技术价值在于显著降低传统CUDA编程的复杂度，让开发者更专注于算法逻辑而非线程管理。在LLM推理优化、矩阵运算加速等场景中，tile-based方法展现出卓越性能。NVIDIA推出的TileGym库基于这一原理，提供cuTile和Triton后端支持，特别适用于Flash Attention
Anthropic架构零化：协调层坍缩与CUDA内核重构
在大模型服务架构中，'协调层'是连接客户端请求与GPU推理引擎的关键抽象，负责流控、状态快照与错误归一化。随着LLM服务规模扩大，该层因CPU-GPU数据搬运和跨域同步开销，成为性能瓶颈与故障源——即所谓'熵增定律'。Anthropic通过'零化'（Zeroing）策略，将原属独立服务的协调逻辑深度编译进CUDA内核，实现从HTTP中间件到GPU指令级的跃迁。此举显著降低P99延迟、消除Redis锁竞争，并将token传输拷贝次数从7次减至2次。其技术价值在于以硬件确定性替代软件弹性，适用于金融、医疗等高S
CANN/cannbot-skills Triton向量操作
Triton-Ascend 扩展了一组向量操作（vec_ops），提供了标准 Triton API 中不具备或功能不同的张量操作。这些操作包括张量切片（insert_slice/extract_slice）、元素访问（get_element）、排序（sort）、翻转（flip）和增强的类型转换（cast）。 这些操作在昇腾 NPU 上有专门的硬件支持，通过 SIMD 指令高效执行。 ## 关键
Codex Skill：AI编程助手的专项能力扩展与实战指南
在AI编程助手领域，Skill（技能）是一种标准化的能力扩展机制，它通过封装特定任务所需的指令、资源和脚本，解决AI模型在专项任务上的能力局限。其核心原理是将专业知识和工作流程模块化，让通用AI助手能够像领域专家一样执行复杂任务。从技术价值看，Skill不仅提升了代码生成的准确性，更重要的是实现了业务流程的自动化集成，如代码规范检查、API文档生成等具体场景。这种机制特别适用于需要结合内部工具链和特定业务逻辑的企业环境，能够显著提升开发效率和质量。通过安装PPT生成、SpringBoot项目创建等专项Ski
cann/cannbot-skills: Triton编译提示与扩展API速查
当 agent 需要使用 NPU 特有扩展 API 或编译提示时查阅本文档。典型场景包括： - 需要打断 Vector Fusion 防止 UB 溢出 - 需要使用 `insert_slice` / `extract_slice` / `get_element` 进行张量切片 - 需要控制 NaN 传播行为 - 需要使用 Cube-Vector 同步操作 - 需要注册或调用自定义算子 - 需要使用
onnx入门教程（一）：解决模型部署中的难题
直接使用 PyTorch 模型的话，我们修改几行代码就能实现模型输入的动态化。但在模型部署中，我们要花数倍的时间来设法解决这一问题。现在，让我们顺着解决问题的思路，体验一下模型部署的困难，并学习使用自定义算子的方式，解决超分辨率模型的动态化问题。刚刚的报错是因为 PyTorch 模型在导出到 ONNX 模型时，模型的输入参数的类型必须全部是 torch.Tensor。而实际上我们传入的第二个参数" 3 "是一个整形变量。这不符合 PyTorch 转 ONNX 的规定。我们必须要修改一下原来的模型的输入。
zynq的vitis工程烧录到Winbond(华邦)型号W25Q256JVEQ的QSPI FLAHS
vitis2023.1直接支持W25Q256JVEQ。
CANN/cannbot-skills：Ascend Pooling算子Triton优化指南
本指南为 Ascend NPU 上 Pooling 算子（AvgPool/MaxPool，2D/3D）的 Triton 实现提供**完整的、可复现的**优化方法论。每个 Phase 包含：识别条件 → 代码模板 → 预期收益 → 常见陷阱。 **适用算子**：MaxPool3d / AvgPool3d / MaxPool2d / AvgPool2d **目标平台**：Ascend 910B1
干货满满！AI应用架构师分享AI驱动虚拟展示干货
虚拟展示（Virtual Presentation）：用数字技术将物理对象/场景转化为可交互的虚拟内容（比如3D文物、虚拟试衣间）；AI驱动（AI-Powered）：通过AI技术实现实时交互、智能决策、个性化生成，让虚拟内容“活”起来；AI驱动虚拟展示：以用户体验为核心，将“3D渲染+AI理解+实时数据”融合，形成“感知-决策-反馈”的闭环系统。前端交互层是用户直接体验到的部分，再厉害的AI和渲染，只要前端交互烂，用户都会跑。我见过很多团队为了“炫技”做了复杂的AI功能，结果用户不会用。
CANN/cannbot-skills Triton数据类型支持矩阵与约束
Triton 支持丰富的数据类型，包括整数类型（int1/8/16/32/64, uint8/16/32/64）、浮点类型（float16/32/64, bfloat16）以及多种 FP8 格式（fp8e4nv, fp8e4b15, fp8e4b8, fp8e5, fp8e5b16）。在昇腾 NPU 上，由于硬件架构差异，部分数据类型的支持状态与 GPU 不同：uint8/16/32/64 和 f
2025年CSP-J初赛真题及答案解析（完整版）
2025年CSP-J初赛真题及答案解析（完整版）
3. Matérn协方差模型与随机偏微分方程
对应的高斯马尔可夫随机场 （GMRF）可以通过使用某种随机偏微分方程（SPDE）明确构造，当由高斯白噪声驱动时，随机偏微分方程的解是具有 Matérn 协方差函数的高斯场（GF）
5分钟跑通离线多语言翻译：Argos Translate 上手指南
Argos Translate 是一个用 Python 写的开源离线翻译库：它把机器翻译模型加载到本地，装好语言包后，整个翻译过程不碰网络。底层基于 OpenNMT 的预训练模型，可以当 Python 库、命令行工具或 GUI 应用来用，自托管翻译服务 LibreTranslate 的翻译引擎也是它。 ## 断网环境下，文本不出设备 如果你的场景是飞机上没有网络却要回一封外语邮件，或者手里有涉
VLA仿真平台：Isaac sim、MuJoCo
在虚拟仿真领域，VLA（Virtual Learning Agent）仿真器是用于开发和训练虚拟机器人代理的环境，它们为机器人提供了一个平台来进行各种任务的模拟和学习，特别是在强化学习（RL）中。两款广泛应用的仿真器是和。这两者各有其特点和优势，适用于不同类型的机器人研究和开发。
GE语言无关自定义算子集成RFC
This document proposes a **language-agnostic** mechanism for integrating custom operators into GE. By defining a unified operator integration interface, the custom operator integration process is deco
python实现Markowitz模型 (附完整源码)
python实现Markowitz模型 (附完整源码)
霍尼韦尔SoftMaster使用说明
霍尼韦尔SoftMaster使用说明
从0到1上手NVIDIA NemotronLabs VoiceChat-11B：离线推理与流式部署完整指南
NVIDIA NemotronLabs VoiceChat-11B是一款革命性的11B参数端到端实时语音全双工模型，专为对话式AI设计，能够同时执行流式语音理解和语音生成任务。与传统的级联模型（ASR→LLM→TTS）不同，该模型采用统一架构实现全双工、实时、无缝的语音交互，无需多模型或API切换，显著降低了端到端延迟。 ## 🌟 模型核心亮点与优势 ### 突破性技术特性 - **全双工实
pscad IEEE标准系统搭建说明
pscad IEEE标准系统搭建说明，包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。
昇腾图引擎自定义算子集成RFC
This document proposes a **language-agnostic** mechanism for integrating custom operators into GE. By defining a unified operator integration interface, the custom operator integration process is deco
IEM模型，地表粗糙度模拟
利用微波反演土壤水分时候，利用IEM模型可以实现对随机地表的模拟
OV9734 DATASHEET，完整规格书
OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等
Helion与PyTorch集成教程：无缝加速你的机器学习模型训练
Helion是一个Python嵌入式领域特定语言（DSL），旨在帮助开发者轻松编写快速、可扩展的机器学习内核，同时最大限度地减少样板代码。通过与PyTorch的深度集成，Helion能够显著提升模型训练速度，尤其适合处理注意力机制等计算密集型任务。本文将详细介绍如何将Helion与PyTorch无缝集成，加速你的机器学习模型训练过程。 [
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
324
扫一扫
