墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
400+累计阅读
420平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。
更多 Triton 中文文档可访问 →triton.hyper.ai/
triton.language.view(input, *shape)
返回具有与输入相同元素但形状不同的张量，元素的顺序可能无法保持。
参数**：**
shape 可以作为 1 个元组或作为单独的参数被传递：
# These are equivalent
# 这些是等价的
view(x, (32, 32))
view(x, 32, 32)
这个函数也可作为 tensor 的成员函数调用，使用 x.view(...) 而不是 view(x, ...)。
斯坦福CS336：从零实现Transformer与大模型全链路开发实战
Transformer架构作为现代大语言模型的核心基础，通过自注意力机制实现了序列数据的高效建模。其原理基于查询-键-值矩阵运算，能够捕捉长距离依赖关系，在自然语言处理领域展现出卓越的技术价值。随着模型规模不断扩大，分布式训练和内存优化成为工程实践中的关键挑战。FlashAttention等优化技术通过重构计算流程显著提升训练效率，而PyTorch框架为模型实现提供了灵活的工具支持。这些技术共同支撑了大模型从数据处理、架构设计到对齐微调的全链路开发流程，最终在斯坦福CS336课程的实战教学中得到系统化应用，
CANN/GE Triton自定义算子集成示例
- Graph construction entry: `TensorFlow` - Operator programming language: `Triton` - Compilation method: `Pre-compiled to npubin` - Model sinking capability: `Not applicable` - Core pipeline: `Triton
Transformer架构中RMSNorm的优化原理与实践
规范化层(Normalization)是深度学习模型中的基础组件，通过标准化输入分布来加速训练并提升模型稳定性。LayerNorm作为Transformer架构的核心组件，通过计算特征的均值与方差实现归一化。RMSNorm作为其改进版本，采用均方根值进行标准化，在保持模型性能的同时显著提升计算效率。该技术通过简化数学运算（去除均值偏移）和优化平方根倒数计算（rsqrt指令），在NLP等序列建模任务中可实现15-20%的训练加速。工程实践中，结合混合精度训练与CUDA加速，RMSNorm特别适合处理长文本序列
CANN/cannbot-skills形状操作API
本文档详细描述 Triton-Ascend 中的张量形状操作 API，包括 `broadcast`、`cat`、`reshape`、`view`、`trans`、`permute`、`expand_dims`、`join`、`split`、`ravel`、`flip` 和 `interleave`。这些操作用于改变张量的维度、形状和元素排列方式，是构建复杂计算图的基础。在 Ascend NPU 上
机器学习生产化实战：特征工程、模型服务与可观测性三重治理
机器学习模型从开发到生产部署，核心挑战不在算法本身，而在系统级的鲁棒性、一致性与可观测性。特征漂移、服务延迟、离线-在线不一致等现象，本质是数据流、模型生命周期与基础设施未解耦所致。通过分层治理架构（特征/模型/服务物理隔离）、Feature Store驱动的特征契约管理（定义、计算、一致性、监控），以及基于Triton+Envoy+可观测三原色的模型服务控制体系，可显著提升AI系统的稳定性与迭代效率。本文聚焦真实产线中高频出现的特征漂移检测、GPU显存优化、金丝雀发布校验等关键实践，为算法工程师和SRE提
大模型技术解析：从Transformer架构到部署优化实战
Transformer架构作为现代大语言模型的核心基础，通过自注意力机制实现了对序列数据的高效建模。其原理在于通过查询、键、值向量的交互计算，捕捉输入序列中的长距离依赖关系。这一技术价值体现在自然语言处理、代码生成等多领域的突破性进展上。随着模型规模从千亿向万亿参数扩展，多模态能力整合和推理能力提升成为关键发展方向。在实际应用场景中，通过模型量化、注意力机制优化等技术，显著提升了部署效率并降低了计算资源需求。本文聚焦当前主流大模型的架构演进、性能评估体系和边缘端部署方案，为开发者提供从技术原理到工程实践的完
ComfyUI ZLUDA & AMD 安装
本文详细介绍了在AMD显卡（如6650XT）上配置ComfyUI-Zluda运行Stable Diffusion的完整流程。主要内容包括：环境准备（Python 3.10/3.11、Git、PyCharm等）、ROCm 6.2安装与配置、Visual Studio编译环境设置、Anaconda环境创建、PyTorch与依赖库安装（需注意CUDA 11.x版本兼容）、Zluda替换文件操作（含普通版和夜间版区别）、cudnn功能禁用方法，以及常见错误解决方案（如Triton编译失败、文件冲突等）。特别强调了A
机器学习暑期学校实战指南：从理论到工业级部署
机器学习暑期学校（ML Summer School）是连接前沿研究与工程落地的关键桥梁，其核心价值在于高密度传递未发表方法、真实系统故障案例与跨层技术整合经验。不同于常规课程，顶级项目如CMU、ETH Zurich和非洲AI暑期学校聚焦CUDA底层优化、分布式训练调试、内存高效注意力机制等硬核能力，强调在真实硬件约束（如Jetson Orin、A100显存碎片、NCCL端口限制）下完成模型训练与Triton部署。这类实践直接提升开发者应对梯度爆炸、CUDA out of memory、NCCL timeou
GE语言无关自定义算子集成RFC
This document proposes a **language-agnostic** mechanism for integrating custom operators into GE. By defining a unified operator integration interface, the custom operator integration process is deco
Vienna整流器双PI闭环仿真：从SVPWM调制到中点电位平衡的实践解析
本文深入解析Vienna整流器双PI闭环仿真技术，涵盖SVPWM调制和中点电位平衡的实践细节。通过详细的MATLAB/Simulink仿真搭建流程和常见问题排查方法，帮助工程师掌握高效整流器控制策略，提升系统稳定性和动态响应性能。
RPMsg：协议简介
两台计算机可以通过TCP/IP进行通信，那么同一颗芯片上的两个核心怎么通信呢？
MobiLlama：面向移动端的Small Language Models系统级优化实践
小型语言模型（Small Language Models）正从云端推理走向终端设备，其核心挑战在于如何在严苛的算力、内存与功耗约束下，兼顾低延迟、高精度与强隐私。这背后依赖于transformers架构的深度适配、flash_attn等高效算子的硬件定制，以及量化感知训练与内存布局重构等系统级协同优化。技术价值不仅体现为310ms级响应和890MB显存占用，更在于支撑离线摘要、会议纪要生成、本地化邮件撰写等真实场景。MobiLlama正是这一演进路径的典型代表——它不是大模型的简单压缩，而是以移动场景为原点
Titans：谷歌新型神经记忆架构，突破 Transformer 长序列处理的瓶颈
Titans 是谷歌推出的新型神经网络架构，通过神经长期记忆模块突破 Transformer 在处理长序列数据时的瓶颈，支持并行计算，显著提升训练效率。
Helion与PyTorch集成教程：无缝加速你的机器学习模型训练
Helion是一个Python嵌入式领域特定语言（DSL），旨在帮助开发者轻松编写快速、可扩展的机器学习内核，同时最大限度地减少样板代码。通过与PyTorch的深度集成，Helion能够显著提升模型训练速度，尤其适合处理注意力机制等计算密集型任务。本文将详细介绍如何将Helion与PyTorch无缝集成，加速你的机器学习模型训练过程。 [-laynorm和attention
【代码】Nano-VLLM全代码解析笔记(5)-laynorm和attention。
大学计算 - NumPy库的矩阵运算 实训答案
本文介绍了三个NumPy矩阵操作的实验练习。第一关练习ndarray类型操作，包括矩阵构造、元素平方和计算、矩阵乘积运算和逆矩阵行列式计算；第二关针对matrix类型，涉及绝对值最大值获取、特定矩阵乘积运算和转置矩阵特征值计算；第三关实现Moore-Penrose伪逆矩阵计算，并与NumPy内置pinv函数结果比较误差。实验涵盖了NumPy核心矩阵操作，展示了从基础运算到高级矩阵分解的应用，帮助掌握科学计算中的矩阵处理技巧。
基于STM32、HAL库的ZMOD4510AI4R气体传感器驱动程序设计
ZMOD4510AI4R是Renesas公司推出的一款数字空气质量传感器，主要用于检测臭氧(O₃)和总挥发性有机化合物(TVOC)浓度。(status & 0x80)) // 检查数据就绪位。// 等待测量完成 (实际应用中应该使用非阻塞方式)// 转换为ppb (简化转换，实际应根据传感器文档校准)* @param hzmod: ZMOD4510句柄。* @param tvoc: TVOC浓度(ppb)* @param ozone: 臭氧浓度(ppb)* @param hi2c: I2C句柄。
GPT-4稀疏激活原理：1.8万亿参数如何仅用2%实现高效推理
大语言模型的推理效率瓶颈，本质是显存带宽与参数规模增长失衡的物理约束问题。当稠密模型遭遇HBM带宽极限（如A100仅2TB/s），MoE（Mixture of Experts）架构应运而生——它并非简单增加专家数量，而是通过token级动态路由、Top-2稀疏激活与硬件协同调度，在保障模型容量的同时，将有效计算量压缩至全参的2%左右。这一机制显著缓解显存压力、提升Tensor Core利用率，并支撑低延迟服务化部署。其核心价值在于将‘参数规模’转化为‘可调度算力资源’，适用于LLM推理优化、边缘部署及成本敏
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
GPT-4稀疏激活原理：MoE架构下2%计算量的技术真相
混合专家（MoE）是大语言模型实现高效推理的核心架构，其本质是通过动态路由机制，在海量参数中按需激活子集，从而解耦模型容量与实际计算开销。原理上，MoE依赖轻量级路由器对每个token打分并选择Top-K专家，仅触发对应专家的前向计算，其余参数保持静默；技术价值在于显著降低FLOPs与端到端延迟，尤其在长上下文和高并发场景下提升吞吐、优化显存利用。典型应用场景包括云API按调用计费、私有化低卡部署、垂直领域专家插件化扩展等。本文深入拆解GPT-4‘1.8万亿参数、2% per token’这一关键指标背后的
霍尼韦尔SoftMaster使用说明
霍尼韦尔SoftMaster使用说明
廖雪峰Python教程[完整版]
廖雪峰的python教程整理的，已经排好版了，而且还是完整的，适合小白
【vllm】（九）vLLM v1 Speculative Decoding (spec_decode) — 模块超深度分析之二
文件内容：空文件。该文件仅作为 Python 包标记文件存在，不包含任何代码逻辑。在 vLLM v1 的 模块中，所有功能类均通过显式 import 导入，而非通过 聚合导出。这种设计使得每个 Proposer 类可以由上层根据 按需选择加载，避免不必要的模块初始化开销。 是整个 模块的底层计算基础设施，提供了 5 个 Triton GPU 内核和若干工具函数，所有内核均用于加速输入数据的复制、扩展和 slot mapping 计算，是推测解码中 CPU→GPU 数据路径上的关键瓶颈优化。作用：返回
C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片
基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正
Cloudflare Argo Smart Routing 实战指南：从 API 启用、Tiered Cache 联调到费用控制
本指南以 autoskills 技能仓库 [argo-smart-routing 参考文档](https://link.gitcode.com/i/0411d4ebdd4a2e86e02ae8111cb1e7db) 为核心，系统讲解 Cloudflare Argo Smart Routing 的启用方式、计费模型、适用场景判断，并深入展开其 REST API、TypeScript/Python S
CANN/cannbot-skills Flash Attention迁移实例文档
Agent 迁移 Flash Attention 类算子时（包含 `tl.dot` + softmax + mask 的注意力计算模式，含前向和反向传播）。 --- ## 核心知识：迁移 Diff 分析 本文档基于以下两个文件的逐行对比： - **GPU 版本**：`flash_attention.py` - **NPU 版本**：`flash_attention_npu_v8.py`
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
453
扫一扫
