墨衍会员
·
AI 创作全网分发
墨衍智能分发
本文由作者通过墨衍一键同步至各平台
1分发平台
300+累计阅读
377平均单平台
已同步平台
优快云
微信公众号
微博
知乎
掘金
百家号
博客园
抖音
小红书
你的文章也可以这样分发
墨衍会员 ¥399起/年，写一次发全网
我也要
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。
更多 Triton 中文文档可访问 →https://triton.hyper.ai/
triton.language.cat(input, other, can_reorder=False)
连接给定的块。
参数**：**
从零构建大语言模型：斯坦福CS336课程实战指南
Transformer架构作为现代大语言模型的核心基础，通过自注意力机制实现了对序列数据的高效建模。其原理在于将输入序列映射为查询、键、值三个矩阵，通过注意力权重计算实现全局依赖关系捕捉。这一技术价值在于突破了传统RNN的顺序计算限制，支持并行化训练，为大规模语言模型的发展奠定了基础。在实际应用场景中，Transformer广泛应用于机器翻译、文本生成、代码补全等领域。基于斯坦福CS336课程的实战经验，开发者可以深入理解从Tokenizer实现、FlashAttention优化到RLHF对齐的完整构建流程
Triton+KServe构建高可用机器学习模型服务
机器学习模型服务化是将训练完成的模型投入生产环境的关键环节，其核心在于解决从研究范式到工程范式的跨越——即保障高并发、低延迟、可观测与可运维。NVIDIA Triton作为高性能推理服务器，通过统一后端抽象、动态批处理和GPU内核优化显著提升吞吐与稳定性；KServe则提供Kubernetes原生的声明式模型部署能力，支持灰度发布、自动扩缩容与多框架集成。二者组合成为当前云原生MLOps架构中兼顾性能、可靠性与运维效率的主流技术栈，广泛应用于实时推荐、智能客服、风控决策等对SLA要求严苛的AI生产场景。
Anthropic架构零化：协调层坍缩与CUDA内核重构
在大模型服务架构中，'协调层'是连接客户端请求与GPU推理引擎的关键抽象，负责流控、状态快照与错误归一化。随着LLM服务规模扩大，该层因CPU-GPU数据搬运和跨域同步开销，成为性能瓶颈与故障源——即所谓'熵增定律'。Anthropic通过'零化'（Zeroing）策略，将原属独立服务的协调逻辑深度编译进CUDA内核，实现从HTTP中间件到GPU指令级的跃迁。此举显著降低P99延迟、消除Redis锁竞争，并将token传输拷贝次数从7次减至2次。其技术价值在于以硬件确定性替代软件弹性，适用于金融、医疗等高S
【Triton 教程】triton_language.tensor
Triton 是一种用于并行编程的语言和编译器。它旨在提供一个基于 Python 的编程环境，以高效编写自定义 DNN 计算内核，并能够在现代 GPU 硬件上以最大吞吐量运行。这里大多数命名的成员函数都是 triton.language 中自由函数的重复。例如，triton.language.sqrt(x) 等同于 x.sqrt()。triton.language 中的大多数函数对 tensors 进行操作并返回。tensor 还定义了大部分的魔法/双下划线方法，因此可以像写 x+y、x << 2 等等。
【运筹优化】VRPTW建模实战：Python+Gurobi求解带时间窗的车辆路径规划
本文详细介绍了如何使用Python和Gurobi求解带时间窗的车辆路径问题（VRPTW）。通过将物流调度难题抽象为混合整数规划模型，并逐步讲解建模、编码与求解过程，为读者提供了从理论到实践的完整指南，帮助解决物流配送中的路径优化挑战。
Android 开发实战：从零到一集成 espeak-ng 实现中文离线 TTS（无需账号开箱即用）
本文详细介绍了如何在 Android 项目中集成 espeak-ng，实现中文离线语音播报。通过下载 so 库、编写 Java 接口、封装管理类，开发者可快速构建无需账号的 TTS 功能。文章覆盖从零到一的开发步骤、调试技巧及性能优化，适合中高级 Android 开发者参考。
翻译 OpenAI Triton Programming Language for Neural Networks
Triton 1.0是一种类似Python的开源编程语言。这种新的编程语言可以重新定义编码过程。Triton专注于减少代码大小。它可以用更少的代码行执行与其他编程语言相同的功能。它可以在25行以下编写F16矩阵乘法代码。使用Triton生成的内核比之前的torch实现更高效和更快。Triton可以为DNN转换器提供稳定的接口。
【故障排查】telnet连接失败：端口23不可达的深度分析与解决方案
本文深度解析telnet连接失败时端口23不可达的常见原因与解决方案。从快速自查目标地址、端口到服务端排查，涵盖服务状态检查、防火墙配置及安全组设置，并提供进阶诊断工具与抓包分析方法。文章强调telnet协议的安全风险，建议在生产环境中改用SSH等加密协议进行远程管理。
Nvidia Triton 使用入门教程
所谓自定义backend就是自己写推理过程，正常情况下整个推理过程是通过模型直接解决的，但是有一些推理过程还会包含一些业务逻辑，比如：整个推理过程需要2个模型，其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入，最简单的做法就是我们调用两次triton服务，先调用第一个模型获取输出然后进行业务逻辑判断和修改，然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面，这样就简化调用过程，同时也避免了一部分http传输时延。
企业数字化转型的理论指南：构建未来企业的关键策略与实践路径
数字化转型已经成为当今企业发展和市场竞争的核心驱动力，而在这一过程中，企业架构（EA）发挥着至关重要的作用。这本白皮书《世界级企业架构：建立和发展EA能力的领导者方法》提供了深入的理论指导，为企业如何通过企业架构实现有效的数字化转型提供了清晰的路径。本篇文章将从，解读该书的核心内容，揭示企业在数字化转型过程中应该如何通过EA的构建和实施，驱动组织变革与技术创新。
通义灵码+高德 MCP：40分钟开发出游攻略网站
本文介绍了通义灵码与高德MCP在40分钟内快速开发出游攻略网站的全流程。主要内容包括：1）LingmaIDE开发环境的使用方法，涵盖界面操作、代码编辑、调试和智能编码功能；2）通义灵码智能体与高德MCP2.0的集成步骤，通过输入旅行需求即可自动生成包含天气卡片、景点路线等元素的HTML页面；3）重点展示了如何将行程规划导入高德地图APP，实现导航、打车等出行功能。整个开发过程充分利用了通义灵码的智能编码能力和高德地图的服务接口，显著提升了旅游类应用的开发效率。
CANN/ge Triton算子入图指南
Triton是近年来广受开发者欢迎的一种Python化编程语言。开发者只需关注Tile/Block的切分方式及基于其上的运算逻辑，Triton编译器便能结合底层硬件特性，在编译过程中自动完成内存分配、数据搬运、计算调度和流水并行等复杂操作。因此，算子开发难度显著降低，开发效率大幅提升。 Triton-Ascend是面向昇腾平台构建的Triton编译框架，旨在让Triton代码能够在昇腾硬件上高效
goahead（嵌入式Web服务器）之文件传输篇
goahead文件上传原理： 使用html form即表单提交文件上传请求，web服务器核心处理接收客户端Post过来的文件数据（注意post的是二进制数据），最后，web服务器把接收到文件数据以二进制格式写到服务器本端存储系统。 goahead文件上传步骤： 1、创建upload.html文件，内容如下： <html> <head> <meta charset="utf-8"/> <title>Upload</title> </head&g
Triton API 在 Ascend 910_95 NPU 上的差异速查
> 触发条件：在迁移或编写 Triton kernel 时，需要确认 API 在 910_95 上的行为差异、替代方案或 NPU 特有扩展。 --- ## 1. API 差异速查表 ### 1.1 不支持的 API 及替代方案 | API | 不支持内容 | 替代方案 | 说明 | |-----|-----------|---------|------| | `tl.load` / `tl
【OpenClaw从入门到精通】第03篇：吃透Gateway/Skills/ClawHub核心概念（2026实测+避坑）
本文针对OpenClaw新手易混淆的核心概念痛点，以通俗类比+实操演示拆解OpenClaw核心、Gateway、Skills、ClawHub四大组件。通过“数字员工团队”类比明确各组件定位：OpenClaw核心是“老板”（调度中心）、Gateway是“前台+后勤”（后台进程）、Skills是“专业员工”（功能插件）、ClawHub是“人才市场”（技能商店）。补充版本更名史、技能加载优先级、ClawHub与GitHub区别等关键细节，结合“AI融资新闻查询并邮件推送”虚拟案例演示组件协同流程，梳理5个高频认知
1. 如何使用扣子工作流一键生成儿童绘本(可以发到小红书，微信公众号图文等)
本文介绍了使用扣子智能体一键生成儿童绘本的工作流。用户只需输入绘本主题，系统会自动生成Markdown格式内容，可直接发布到优快云、小红书等平台，还支持推送至微信公众号草稿箱。操作步骤包括：访问扣子网站导入工作流源代码，输入主题试运行，查看实时进度和最终输出结果。工作流编辑器会显示每个节点的执行状态和耗时，支持通过"查看日志"功能回溯历史运行记录。文末附有工作流源代码下载链接。
CANN/cannbot-skills形状操作API
本文档详细描述 Triton-Ascend 中的张量形状操作 API，包括 `broadcast`、`cat`、`reshape`、`view`、`trans`、`permute`、`expand_dims`、`join`、`split`、`ravel`、`flip` 和 `interleave`。这些操作用于改变张量的维度、形状和元素排列方式，是构建复杂计算图的基础。在 Ascend NPU 上
SAP B1中文培訓教材_SDK
公司内部培训资料，对开发工具 ，DIAPI， UIAPI，Add-ON有详细解说
机器学习模型生产化落地：从Notebook到高可靠服务的完整路径
机器学习模型部署不是简单将Jupyter代码转为API，而是面向真实业务场景的工程化转型。其核心在于解决可靠性、可观测性与可维护性三大挑战，关键技术包括模型服务化（如Triton/KServe）、特征服务解耦（Feast）、契约驱动架构（gRPC+Protobuf）以及三位一体可观测性（Prometheus+Jaeger+结构化日志）。通过蓝绿发布、金丝雀灰度、模型包标准化（ONNX+metadata+Docker）和生产就绪检查清单，团队可系统性规避‘上线即故障’陷阱。本文聚焦模型生产化（MLOps Pa
深度学习工具包 DeepLearningToolbox
深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[](https://bitdeli.com/free "Bitdeli Badge")
C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片
基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正
AI工程实践：DGX算力、Spark数据处理与DeepSeek模型融合架构指南
在当今大数据与人工智能融合的时代，分布式计算框架与深度学习模型的结合已成为技术演进的重要方向。Apache Spark作为主流的大数据处理引擎，其核心原理在于通过内存计算和弹性分布式数据集（RDD）实现海量数据的高效处理。而大型语言模型（LLM）如DeepSeek，基于Transformer架构，通过自注意力机制实现对复杂语义的理解与生成。将两者融合的技术价值在于：既能利用Spark的分布式能力处理企业级海量数据，又能借助LLM的智能分析能力提取深层价值。这种架构特别适用于需要同时进行大规模数据预处理和智能
TMS_WebGMaps_1.9.8.0_Full_Source
TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder
Tessera：端到端LLM蒸馏与推理部署全链路实战指南
模型蒸馏作为大语言模型压缩的核心技术，通过让轻量级学生模型学习教师模型的知识表示，实现参数规模与推理速度的显著优化。其技术原理基于软标签迁移和温度调节机制，在保持模型性能的同时大幅降低计算资源需求。在工程实践中，专门的推理引擎通过PagedAttention、连续批处理等关键技术解决传统框架的内存效率和并发瓶颈。Tessera技术栈的创新价值在于打通了从蒸馏训练、量化压缩到推理服务的完整闭环，为开发者提供了可解释、可调试的端到端解决方案。该工具链特别适用于需要将大模型轻量化部署到资源受限环境的场景，如移动端
Qwen3.5在摩尔线程MTT S5000上的原生推理优化实践
大模型推理优化本质上是计算、内存与硬件特性的深度协同问题。从基础原理看，FlashAttention、RoPE位置编码、MoE专家路由等关键技术直接影响长上下文（如128K tokens）下的显存占用与延迟表现；其技术价值在于突破传统CUDA兼容层带来的42ms级性能损耗，实现吞吐提升3.2倍与显存节省18%；典型应用场景涵盖国产GPU加速的AI推理服务、多模态大模型部署及INT4量化生产环境。本文聚焦Qwen3.5在MTT S5000平台的MUSA C内核重写、Triton-MUSA算子开发与muDNN+
Qwen3-ASR-1.7B工业级语音识别部署实战
语音识别（ASR）作为人机交互的关键技术，其核心价值在于将声学信号稳定、低延迟、高鲁棒地转化为结构化文本。传统基于PyTorch的ASR方案虽模型精度高，却常因动态图内存抖动、CUDA版本锁死、多容器运维复杂等问题，在嵌入式与工控场景中‘能跑不能用’。ONNX Runtime凭借静态图优化、内存池预分配与跨平台兼容性，成为工业边缘部署的首选推理后端；而NVIDIA Triton则通过动态批处理与CPU模型实例化，显著提升并发吞吐与资源确定性。本文聚焦Qwen3-ASR-1.7B这一专为产线打磨的轻量闭环AS
GPT-4稀疏激活原理：MoE架构下2%计算量的技术真相
混合专家（MoE）是大语言模型实现高效推理的核心架构，其本质是通过动态路由机制，在海量参数中按需激活子集，从而解耦模型容量与实际计算开销。原理上，MoE依赖轻量级路由器对每个token打分并选择Top-K专家，仅触发对应专家的前向计算，其余参数保持静默；技术价值在于显著降低FLOPs与端到端延迟，尤其在长上下文和高并发场景下提升吞吐、优化显存利用。典型应用场景包括云API按调用计费、私有化低卡部署、垂直领域专家插件化扩展等。本文深入拆解GPT-4‘1.8万亿参数、2% per token’这一关键指标背后的
NIM不是API平台：国产大模型GLM-4.7/M2.1本地部署全链路解析
模型即服务（MaaS）是企业AI落地的核心范式，其本质是将大模型封装为可生产部署的标准化服务单元。NVIDIA NIM作为面向GPU服务器的模型服务操作系统，通过预编译容器镜像、Triton推理引擎集成与硬件级优化，显著降低GLM-4.7和M2.1等国产大模型的工程化门槛。它不提供云端API调用，而是交付开箱即用的本地服务实例，技术价值在于统一抽象硬件差异、固化推理栈、保障SLA稳定性。典型应用场景包括教育SaaS智能客服、金融文档分析、政企私有知识库问答等需数据不出域、低延迟、高可控的业务系统。本文聚焦N
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
408
扫一扫
