- 博客(408)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 FlashAttention-4 论文整理（arXiv:2603.05451）
Attention 是 Transformer 的核心层，也是大模型与长上下文应用的主要瓶颈。FlashAttention-3 通过异步执行与 warp specialization 针对 Hopper（H100）优化了 attention，但主要面向 H100。产业已快速转向 Blackwell 系（B200、GB200）。这类 GPU 因非对称硬件缩放呈现不同性能特征：Tensor Core 吞吐翻倍，其它功能单元（共享内存带宽、指数单元等）增速更慢或不变。
2026-09-17 15:38:44
43
原创 TIRx：面向演进中前沿 ML 内核的开源编译器栈
2026 年 6 月 22 日 • Apache TVM 社区今天我们正式发布——一个基于 Apache TVM 构建的开源、硬件原生（hardware-native）ML 内核 DSL 与编译器。它瞄准 AI 软件栈中「快速演进的内核」与「快速演进的硬件」交汇的那一层：TIRx 目前已可编译到 GPU 及专用 AI 加速器，并设计为能随后续硬件代际一同成长。同一套设计同时服务于专家手写内核、Agent 生成内核以及 Megakernel 系统。@T.jit。
2026-08-19 19:14:55
268
原创 InternVLA-N1：面向可学习潜在规划的开放双系统视觉-语言导航基础模型
我们提出——首个开放的双系统视觉-语言导航（Vision-Language Navigation, VLN）基础模型。System 2 的像素目标（pixel-goal）规划，以及System 1 的敏捷执行。我们为此框架设计了课程式两阶段训练范式：首先，以显式像素目标作为监督或条件，分别预训练两个系统；随后冻结 System 2，并以异步端到端方式微调新引入的潜在规划（latent plans）与 System 1。
2026-08-12 14:56:01
465
原创 tvm tirx教程(一) ------ 概述
对于成熟硬件上的成熟 kernel，这条边界可以偏高：编译器把线程分配、数据搬移、布局细节与指令选择藏在紧凑的张量/tile 抽象之后——这对已有、稳定的 kernel 模式很有效。TIRx 通过 TVM FFI 在 Python、C++ 与 Rust 中暴露其 IR 与编译器工具，并提供结构化搜索空间，以及密集的、在正式 benchmark 之前即可获得的反馈（良构性、同步合法性、无竞争、数值仿真等）。在完整 kernel 中，编排仍写在普通源码里，而反复出现的硬件操作则表现为 tile 原语。
2026-08-05 19:19:07
379
原创 tvm教程 -------- 定制优化
可下载并在本地运行 Jupyter notebook。Apache TVM 的一个主要设计目标，是让研究或工程开发都能方便地自定义优化流水线，并快速迭代工程优化。
2026-08-04 23:21:57
80
原创 tvm教程 ------混合 Python/PyTorch 与 TVM
TIR 与 Relax 函数在实例化时 JIT 编译，Python 函数按原样运行，张量则通过零拷贝 DLPack 在 TVM 与 PyTorch 之间传递。桥接 Python 与 TIR：经 DLPack（零拷贝）把 PyTorch 张量转为 TVM NDArray，分配输出缓冲，调用已编译 kernel，再转回。支持双向跨层调用：Relax 函数可调用 Python 函数，Python 函数也可调用 TIR/Relax 函数。Relax 函数与 Python 函数都在描述计算图。
2026-08-04 19:47:46
207
原创 tvm relax教程(五) ------------ Relax 变换
我们也可以定义自己的 Pass。以把relu算子改写为gelu为例。首先，需要编写一个 Relax IR Mutator 来完成改写。@mutator# 访问 relax.Call 表达式，仅处理 op 为 relax.nn.relu 的情况然后可以编写一个 Pass，将该 mutator 应用到整个模块。"""IRModule 级变换"""mod.show()打印输出显示，算子已被改写为算子。
2026-08-04 13:02:48
163
原创 tvm relax教程(四) ------Relax 程序创建
需要注意：Block Builder API 不如上述 API 友好，但它是最底层的 API，与 IR 定义结合最紧密。它是更底层的 IR builder API，在 TVM 内部逻辑中广泛使用，例如编写自定义 Pass。本教程演示了如何针对不同场景，使用 TVMScript、NNModule API、Block Builder API 以及 PackedFunc API 创建 Relax 程序。本节展示如何仅用高层 Relax 算子，通过 TVMScript 定义一个简单的 MLP 模型。
2026-08-04 12:57:47
208
原创 tvm relax学习(三) ----- DPL(数据流模式语言)
数据流模式语言（Dataflow Pattern Language, DPL）是 Relax 内置的图上模式匹配与改写设施。你可以用它描述要查找的子图结构，在 Relax 函数中搜索该结构，并可选地将其替换为新结构——而无需手写完整的 IR visitor。DPL 在整个 TVM 栈中被广泛使用：典型工作流分三步：公开 API 位于 （源码：）。模式（pattern） 是对「表达式应长什么样」的轻量描述，通过组合小积木来构建。最常见的叶子模式有：调用模式（Call Patterns）把模式当作函数调用，
2026-08-04 11:10:37
328
原创 tvm relax学习(二) ----------- 理解 Relax 抽象
但在常见实践中，只要可行，用这种风格编写低层函数通常是有益的。其核心目标是刻画 ML 模型的结构与数据流——包括模型各部分之间的依赖与关系，以及如何在硬件上执行该模型。是 Relax 中的新抽象，用于在同一 IRModule 内调用原始张量函数。有了低层 NumPy 示例作对照，就可以引入面向端到端模型执行的 Relax 抽象。通过允许手动标注 dataflow block，可确保编译器获得最准确的信息，从而实现更有效的优化。（Relax 函数）。都是纯函数：它们只读取输入，并把结果写入新分配的输出张量。
2026-08-04 10:44:20
344
原创 tvm relax学习(一)--------------面向机器学习模型的图抽象
图抽象是将 ML 模型表示为有向图的过程：节点表示计算操作（例如矩阵乘法、卷积），边表示这些操作之间的数据流动。这种抽象使编译器能够分析模型不同部分之间的依赖与关系。
2026-08-04 10:21:54
247
原创 TVM教程-----Export and Load Relax Executables
本教程演示如何将编译好的 Relax module export 为共享对象（shared object），再加载回 TVM runtime，并在交互环境或独立脚本中运行结果。本教程展示如何使用tvm.relaxAPI，将 Relax（或导入的 PyTorch / ONNX）程序变成可部署产物。本教程以 PyTorch 作为源格式，但对 ONNX 模型而言，export/load 工作流相同。对于 ONNX，请使用替代，随后按相同步骤进行 build、export 与 load。
2026-07-30 23:44:26
226
原创 Cosmos3端侧部署优化(一) ------- Wan VAE
对视频特征在通道维 C上归一化（dim=1# 对每个固定 (b, t, h, w)，令 v = x[b, :, t, h, w] ∈ R^Cv_norm = v / ||v||_2 # F.normalize，L2 归一化（非 LayerNorm 的减均值）gammashape 为时），在 T,H,W 上 broadcast。与LayerNorm不同：RMS/L2 norm不减均值，只做范数缩放；没有全连接 GEMM。
2026-07-05 18:44:01
616
原创 Cosmos3 Policy vs π₀.₅：架构对比
π₀.₅：直接学，是反应式策略。Cosmos3：学p(未来视频, a | obs, lang)，先想象世界演化再从中导出动作，是世界模型 + 内嵌策略。差异根源不在网络结构（都是 prefix-条件 + flow matching），而在输出目标：π₀.₅ 只生成动作；Cosmos3 把动作嵌入「对未来的生成」里。
2026-07-04 22:49:06
170
原创 Cosmos3 模型架构(一)：Wan VAE（WAE）
WAE（Wan VAE）是一个3D 视频变分自编码器（KL-VAE）：把高维像素视频压进低维、低分辨率的 latent 时空网格，DiT 等生成模型在 latent 里做扩散 / flow matching，最后再 decode 回像素。像素视频 ←──decode── latent（紧凑语义 + 时空结构） ←──DiT 去噪── 噪声│ ▲没有 VAE，DiT 就要直接在上工作，算力和显存都不可接受。WAE 是像素世界与生成模型之间的 codec——类似 JPEG 之于图像 CNN，但是。
2026-07-04 18:51:04
574
原创 端侧模型部署优化参考手册
一套与具体框架/实现解耦的。目标：指导任意端侧模型在资源受限 SoC 上的部署优化全流程。；。。本手册只讲"怎么想、按什么顺序做、用什么工具量"，不绑定任何一套代码实现。
2026-06-28 21:33:21
63
原创 syspeek ---- 系统测试gpu性能工具
跨 GPU 硬件：测量 NVIDIA GPU 的性能指标，而非纸面峰值。支持独立显卡（如）与集成式 Jetson 平台（如。
2026-06-28 19:52:01
406
原创 Pinned Memory 与 Pageable Host 内存
Pageable：OS 可移动/可换出，GPU 不能可靠 async DMA，H2D 常多一次 staging、易阻塞。Pinned：物理页固定，async DMA 友好，适合与 TRT ViT / denoise流水线重叠。：硬件一致 UVM 降低了 pageable 直接给 GPU 用的门槛；但在 PyTorch + TensorRT 固定 buffer 链路上，pinned staging 仍是首选优化手段。
2026-06-28 11:29:50
411
原创 ROS 2 Tracing 原理
tp_call.h用 LTTng 宏定义 CTF 事件（provider 名ros2TP_FIELDS(（见字段如何落成二进制 CTF 记录，见§五。编译期：在tp_call.h里用TP_FIELDS声明事件类型录 trace 时：LTTng自动生成运行时：只能 emit 已声明的 tracepoint// 没有这一步，就没有 ros2:rcl_publishROS 2 最终用户：不能自己加埋点，只能用核心库已有事件ros2_tracing 维护者：加新事件需改tp_call.h→→。
2026-06-25 16:10:19
44
原创 Perfetto 性能监控原理
本文分析 Perfetto 用户态 App 记录监控数据的原理，以及从数据产生、收集落盘到分析的完整 pipeline。
2026-06-25 15:47:36
37
原创 Jetson Thor Roofline 模型
Jetson Thor 的 Roofline = 273 GB/s 的 DRAM 斜线 + 按精度选的 Compute 水平线。对：273 GB/s：≈π0.5 batch=1 prefill 的 GEMM/FMHA 多在拐点左侧（memory-bound）；优化应优先DRAM 流量与 Tensor Core 利用率，而非单纯提高 occupancy。
2026-06-25 11:18:10
401
原创 Blackwell GPU 执行模型详解
线程层级（Thread Hierarchy）：从 Thread 到 Grid 的嵌套分组结构内存空间（Memory Spaces）：GMEM → SMEM → TMEM → Register 的数据通路计算引擎（Compute Engines）：CUDA Cores 与 Tensor Cores 的分工协作核心思想：内核是一个流水线，数据在这些内存空间之间流动，并在独立的计算与数据传输引擎之间交接工作。反复的目标是让这些引擎同时保持忙碌。
2026-06-24 17:46:53
708
原创 现代gpu编程系统教程(一) ------- 概述
目标GPU架构编程语言本书由卡内基梅隆大学（CMU）的课程衍生而来，系统性地讲解如何为现代 GPU（以 Blackwell 架构为目标）编写高性能机器学习内核。核心理念：要让 GPU 内核跑得快，不能只靠优化技巧清单。现代 GPU 架构引入了更丰富的内存空间、新的访问模式和高度专业化的执行单元。对硬件的清晰心智模型对高性能内核构建方法的实践理解主线案例数据布局（Data Layout）异步数据传输（Async Data Movement）异步协调（Async Coordination）
2026-06-24 15:42:36
382
原创 tvm cuda后端编译路径
本文说明在 target=cuda下，TVM 如何将 Relax 计算图编译为最终可执行代码，以及模型各层如何映射到具体算子实现（TVM 自研 CUDA kernel、cuBLAS 等 BYOC 后端）。
2026-06-23 17:09:27
267
原创 模型编译前端表示对比 onnx vs tvm relax
（开放交换格式）、（ONNX → TensorRT 的 Parser/导入器）、（编译器内部 IR）。三者层次不同：ONNX 是格式，ONNX-TensorRT 是面向单一后端的导入桥，Relax 是通用编译器 IR。
2026-06-23 13:47:54
360
原创 端侧模型部署一般流程
model_optimizer 结合开源模型端侧框架，分析端侧模型部署的一般流程，技术细节，关键流程本文总结 LLM / VLM / VLA 在嵌入式设备（Jetson Orin、Drive Thor、边缘 GPU、BPU 等）上的 通用部署流水线，不绑定具体工具链。文中 §3.1 量化 · §3.2 导出/重写 · §3.3 编译 · §3.5 精度验证 可独立阅读；三项目（TensorRT-Edge-LLM、model_optimizer、Chamleon）对照见各节附录表。不宜照搬 onboard 的
2026-06-22 23:10:19
827
原创 TensorRT-Edge-LLM详解
原理：在 GPU 上为每个 attention 层一次性预分配固定形状的张量，K/V 按序列维度连续存放，通过与（运行时绑定为）描述「当前有效 token 数」与「写入起点」，而非用 block 表做非连续寻址。每层布局│ │ │ │ └── 头维度（可 per-layer 异构）│ │ │ └── 最大序列容量（build 时 --maxKVCacheCapacity）│ │ └── GQA 的 KV head 数│ └── dim=1: K 半区 + V 半区。
2026-06-22 20:41:07
174
原创 ROS2 BehaviorTree分析
Behavior Tree 解决的核心问题：把「复杂、可中断、可恢复、可反应」的决策逻辑，从难以维护的 FSM/硬编码中抽离出来，用可组合的树 + 周期性 tick + 明确的状态语义表达。提供引擎：节点体系、Factory、Blackboard、XML、异步 Action、日志在 ROS2 上提供标准执行框架和 Action/Service/Topic 封装，面向 Nav2 类导航/任务编排场景。
2026-06-21 21:35:20
411
原创 PyTorch → Quantize → ONNX → TensorRT Engine 流程总结与现代llm的差别
Builder = 在上做图级 fusion，为每层枚举合法 kernel（tactic），在目标 GPU 上实测 timing 并选最快方案，再规划内存、序列化为 engine。Layer fusion 决定算子能否合并；tactic 搜索决定合并后/单层的 kernel 有多快。量化模型的性能 largely 取决于 Stage 3 的 Q/DQ 布局能否被 Builder fusion 成 Tensor Core 量化 kernel。阶段输入输出核心工具1. PyTorch预训练权重。
2026-06-14 22:34:02
161
原创 π0.5 Denoise 流程详解
本文档聚焦：从整体架构与 time / state / action 三类信号如何进入模型、如何作用，到 AdaRMSNorm 等实现细节。
2026-06-05 15:12:56
62
1
原创 model_optimizer将pi05端到端延时进一步优化到68.13ms了
目前在保持灵活性和性能之间找到一个较好的平衡。vit, llm仍然使用onnx->trt_engine的路径，量化可以通过https://github.com/NVIDIA/Model-Optimizer.git支持。同时支持通过cutedsl手写算子进行进一步优化denoise因为步数多，kernel launch多，因此完全通过手写融合算子实现，将所有steps进行一次大的cuda graph capture.
2026-06-04 09:41:55
55
1
原创 model_optimizer持续优化π0.5模型(一) --------- fused mlp
核心替换层— 接入点（特性注册 + ONNX 导出）当前方案为方案 A：纯 PyTorch 模块替换 + ONNX 原生算子图重写，零 plugin。
2026-05-30 10:16:40
54
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人