端侧 AI 的全景图:WASM、WebGPU 和 ONNX 的三角关系的深度剖析

【HarmonyOS 5.0.0 或以上】WASM 与 UI 动态联动:构建交互式可视组件 好的,以下是第 14 篇完整内容。 阅读详情

端侧 AI 的全景图:WASM、WebGPU 和 ONNX 的三角关系的深度剖析

一、为什么 AI 必须走出云端

去年我在做一个离线翻译工具的需求调研时发现了一个有意思的数据:一款流行浏览器翻译插件的日活有 300 万,其中 60% 的网络请求被云端的翻译 API 消耗。这 60% 里有至少 40% 是完全可以本地处理的短文本翻译。

三个趋势在推动 AI 从云端走向端侧:

  1. 延迟限制——实时视频会议的字幕翻译,往返云端 200ms 根本不可接受;
  2. 数据隐私——企业内部的文档摘要不可能把内容发给第三方 API;
  3. 离线场景——飞机上、地下车库、农村地区——没信号就没 AI。

而端侧 AI 的落地依赖于三个技术的协作:WASM(容器)、WebGPU(加速器)、ONNX(模型格式)。这篇文章会厘清这个三角关系,并给出实际可用的技术选型框架。

二、ONNX:跨框架的模型交换格式

ONNX(Open Neural Network Exchange)解决的是模型格式碎片化的问题。PyTorch、TensorFlow、JAX 各有各的模型格式,ONNX 提供了一个中间表示层,让一个模型可以被多个推理引擎消费。

# Python 端:导出 ONNX 模型
import torch
import torch.onnx

# 定义一个简单的分类模型
class TextClassifier(torch.nn.Module):
    def __init__(self, vocab_size: int, embed_dim: int, num_classes: int):
        super().__init__()
        self.embedding = torch.nn.Embedding(vocab_size, embed_dim)
        self.fc = torch.nn.Linear(embed_dim, num_classes)
    
    def forward(self, input_ids):
        # 简单的嵌入 + 线性分类(示例用,实际用 BERT 更复杂)
        x = self.embedding(input_ids).mean(dim=1)  # 均值池化
        return torch.softmax(self.fc(x), dim=-1)

model = TextClassifier(vocab_size=30000, embed_dim=128, num_classes=10)
model.eval()

# 导出为 ONNX 格式
dummy_input = torch.randint(0, 30000, (1, 32))  # batch=1, seq_len=32
torch.onnx.export(
    model,
    dummy_input,
    "text_classifier.onnx",
    input_names=["input_ids"],
    output_names=["probs"],
    dynamic_axes={
        "input_ids": {0: "batch_size", 1: "seq_len"},
        "probs": {0: "batch_size"},
    },
    opset_version=14,
)
print("模型已导出为 text_classifier.onnx")

ONNX 选型时注意两个关键点:

  • opset version 兼容性——不是所有 ONNX Runtime 都支持最新的 opset。端侧一般用 opset 12-14,浏览器端 onnxruntime-web 对 opset 的兼容最好;
  • 量化——FP32 模型在浏览器里跑不动的。导出时必须做 INT8 量化,内存占用能减到 1/4,推理速度提升 2-3 倍。

三、WASM:浏览器的通用运行时

WASM 解决了"浏览器能不能跑原生代码"的问题。Rust 通过 wasm-pack 编译到 WASM,再通过 JavaScript 加载调用。但对于 AI 推理,WASM 有天然的短板——纯 CPU 计算、SIMD 支持有限、不能直接访问 GPU。

// 用 wasm-bindgen 暴露 Rust 函数给 JavaScript 调用
use wasm_bindgen::prelude::*;
use wasm_bindgen_futures::JsFuture;
use web_sys::{Request, RequestInit, RequestMode, Response};

/// 在 Web Worker 中运行推理任务
/// 避免阻塞主线程导致页面卡顿
#[wasm_bindgen]
pub async fn run_inference_in_worker(
    model_url: &str,
    input_data: &[f32],
) -> Result<JsValue, JsValue> {
    // 创建 Web Worker 实例
    let worker = web_sys::Worker::new("./inference_worker.js")
        .map_err(|e| JsValue::from_str(&format!("创建 Worker 失败: {:?}", e)))?;
    
    // 在 Worker 中执行推理——不阻塞主线程
    let promise = js_sys::Promise::new(&mut |resolve, _reject| {
        // 向 Worker 发送数据和回调
        let _ = worker.post_message(&JsValue::from_str("start_inference"));
        resolve.call1(&JsValue::null(), &JsValue::from_str("inference_done")).unwrap();
    });
    
    JsFuture::from(promise).await
}

WASM 的定位是"浏览器里跑逻辑的最低门槛方案"。适合轻量级模型(< 50MB)、低频推理(用户手动触发而非实时)、不要求极致性能的场景。

四、WebGPU:端侧 GPU 推理的答案

WebGPU 是三角关系里最重要的角色——它让浏览器以近原生性能访问 GPU。和 WebGL 不同,WebGPU 是为计算而非渲染设计的,天然适合矩阵运算。

// 使用 burn-rs 的 WASM + WebGPU 后端
// burn-rs 抽象了 WASM 和原生 GPU 的差异
use burn::tensor::Tensor;
use burn::backend::wgpu::{WgpuDevice, Wgpu};
use burn::nn::{Linear, LinearConfig};
use burn::module::Module;
use burn::prelude::Backend;

/// 模型定义——burn-rs 的代码在后端切换时无需修改
#[derive(Module, Debug)]
pub struct SimpleTextModel<B: Backend> {
    /// 线性层(在 CPU / WGPU / CUDA 上都能跑)
    linear: Linear<B>,
}

impl<B: Backend> SimpleTextModel<B> {
    pub fn new(device: &B::Device) -> Self {
        let linear = LinearConfig::new(128, 10).init(device);
        Self { linear }
    }
    
    pub fn forward(&self, input: Tensor<B, 2>) -> Tensor<B, 2> {
        // 前向传播——后端的 GPU 加速自动生效
        self.linear.forward(input)
    }
}

// ===== 后端选择 =====

// CPU 后端(开发测试用)
// type MyBackend = burn::backend::NdArray;

// WASM 后端(浏览器 CPU)
// type MyBackend = burn::backend::Wgpu<f32, i32>;

// WebGPU 后端(浏览器 GPU——生产推荐)
type MyBackend = Wgpu<f32, i32>;

// CUDA 后端(原生桌面)
// type MyBackend = burn::backend::Cuda<f32, i32>;

WebGPU 选型的现实判断:

场景是否用 WebGPU原因
文本分类/Sentiment不需要计算量太小,启动 GPU 的 overhead 超过收益
语音识别 Whisper 小模型推荐需要大量矩阵乘法,GPU 优势明显
Stable Diffusion 推理必须CPU 下跑一次 30 秒 vs GPU 下 3 秒
实时视频处理必须每帧都在毫秒级内处理

我们的 Whisper 小模型在 WASM(纯 CPU)上跑一次推理要 2.1 秒,切到 WebGPU 后降到 0.3 秒——快了 7 倍。但代价是 WebGPU 的初始化过程完全黑盒:设备创建失败时 Chrome 只返回 "validation error",没有任何细节。最后靠 Google 搜到一个 GitHub issue 才知道是显存不够,给了 limits.maxStorageBufferBindingSize 一个更小的值才通过。

WebGPU 的错误信息比 WASM 差了一个数量级,排查时需要大量试错,建议先在小模型上跑通流程。

五、总结

WASM、WebGPU 和 ONNX 的三角关系可以这样理解:

  • ONNX 决定"跑什么模型"——它是模型格式标准,解决了跨框架兼容问题;
  • WASM 决定"在哪里跑"——它是浏览器环境的运行时容器,给了 Rust 代码进入浏览器的大门;
  • WebGPU 决定"跑多快"——它是端侧 GPU 加速的入口,把推理速度从秒级降到十毫秒级。

我给开发者的技术选型建议:起步用 ONNX Runtime Web (WASM 后端),模型跑通了再评估是否值得切 WebGPU。不要一上来就踩 WebGPU 的坑——GPU buffer 管理、shader 编译错误、不同浏览器的兼容差异,这些问题都会让你的开发效率腰斩。而 ONNX Runtime 的 WASM 后端只需要 npm install onnxruntime-web 就能开始用,成本极低。

端侧 AI 的真正爆发还需要一年左右——等主流浏览器对 WebGPU 的计算特性支持稳定,等 ONNX 生态的工具链再成熟一些。但现在开始投入学习和实验,正好能赶上第一波红利。

Qdrant 深度拆解:35K Star 的 Rust 向量数据库,是如何把 HNSW、Payload 过滤和量化压缩揉成一台机器 Qdrant 是基于 Rust 构建的向量数据库,以高效协同稠密向量(HNSW)、Payload 过滤与量化索引著称。其核心优势在于三者在查询中同步生效,兼顾召回率与性能。适用于 RAG、语义搜索、推荐系统及多租户场景,但不擅长事务或精确检索。架构分层清晰,写入经 WAL 保障一致性,检索通过分片与段并行加速。关键技术包括过滤感知 HNSW、ACORN 跨跳搜索、八类 Payload 索引、四档量化(如 TurboQuant、Product)及灵活多租户策略。最新版本 v1.20.1 强化了嵌套索引与重打分 阅读详情

相关推荐

ABB机器人C#二次开发实战:从通信打通到数据读写的落地指南(附完整工程)

最近在做自动化产线升级项目时,遇到一个核心需求:用C#上位机实时读取ABB机器人的关节角度、IO信号,同时下发运动指令和参数配置。翻遍全网,要么是Robot Studio的基础操作教程,要么是C++/VC++的老旧案例,C#相关的实操内容要么只给片段代码,要么跳过通信配置、权限设置等关键步骤,导致刚上手时踩了无数坑——连接超时、数据读不到、写入无响应,甚至误触发机器人安全保护。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1400

Sapphire开发日志(三)web端运行onnx的问题与解决

这个函数根据蒙版信息计算抠图区域,蒙版中为0的区域是没有被框选的,如果不是0,说明是被抠出的部分,那就加入到新的canvas中去。切换图片时,只要切换image和embedding即可,通过useEffect来监听这两者的变化,当他们发生变化时,我们会清空所有数据,然后将新图片交由模型进行推理。根据用户习惯,在这里滚动滚轮,理论上应该会横向滚动才对,所以我们添加一个监听器,监听这个位置的滚轮状态,组织默认行为,使用js修改当前容器的y轴。使用同样的方法,我们添加一个全部任务的展示栏,用于展示全局的任务。

wxyww2049的博客 1634

zds1104示波器使用指南

(2)将探头连接到探头补偿端,按下auto setup按键,一键捕获。(3)连接需要测量信号,开始查看波形。操作说明书,可以自行查看操作说明书。

m0_61973119的博客 6781

WASM 边缘推理:Rust + ONNX Runtime 的浏览器端模型部署实践

WASM 边缘推理的核心价值是"零延迟 + 隐私保护 + 离线可用"。技术路线是 PyTorch → ONNX 转换 → 量化压缩 → Rust/wasm-bindgen 封装 → 浏览器加载推理。落地时三个关键决策:模型选择 MobileNet/EfficientNet 等轻量架构(<10MB)、量化使用 INT8(体积减 75%、精度损失 <1%)、推理放在 WebWorker 中(不阻塞 UI 线程)。

no1coder的博客 4988

银河麒麟V10系统下VLC播放器安装全攻略(附3.0.9.2版本离线包下载)

本文详细介绍了在银河麒麟V10操作系统无网络环境下,从零开始编译安装VLC 3.0.9.2播放器的完整攻略。通过构建本地YUM仓库解决依赖问题,提供离线资源包下载,并逐步指导完成编译环境配置、软件编译与安装,帮助用户在国产麒麟系统上成功部署强大的多媒体播放能力。

a2b3c4d5e的博客 1227

Globus 数据下载

Globus 大数据下载流程~

weixin_43978558的博客 6647

【大模型开发】大模型转换为 NCNN 格式并在 微信小程序 中进行调用

以下内容将介绍如何将大模型转换为 NCNN 格式并在 微信小程序 中进行调用。我们会从整体流程、模型转换工具、NCNN WebAssembly(WASM)编译与集成、小程序前端代码示例等方面进行详细讲解,并在最后给出优化方向与未来建议。

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 1932

在Android中实现SIM卡的读写操作

在上述代码中,我们创建了一个PhoneStateListener的实例,并重写了onSimStateChanged方法来处理SIM卡状态改变的事件。然后,我们通过调用telephonyManager的listen方法注册了这个监听器,并指定了要监听的事件类型为SIM卡状态的改变。在上述代码中,我们调用telephonyManager的sendUssdRequest方法来发送USSD命令,并通过TelephonyManager.UssdResponseCallback来处理USSD响应和发送失败的情况。

2301_79326510的博客 927

19-5 LLM之野望 5 - 使用ONNX 模型量化将LLM速度提高 3 倍

运行 LLM 嵌入模型在 CPU 上速度很慢,在 GPU 上成本很高。我们将使用将其速度提高 3 倍,看看不同的如何影响新旧硬件上的性能,并在量化模型的基础上进一步进行。

ms44的专栏 2086

Wsl/InstallDistro/Service/RegisterDistro/CreateVm/HCS/E_INVALIDARG

摘要:安装WSL2时遇到E_INVALIDARG错误(多核CPU问题),可通过创建.wslconfig配置文件解决。配置内容包括:渐进式内存回收、自动代理、模拟虚拟系统调用、限制内存为4GB和处理器核心数为4。需确保已启用虚拟机平台和Linux子系统功能。 (98字)

猿小白的博客 1050

ubuntu-25.04-desktop-amd64 工具VMware-tools 正确安装方法

摘要:Ubuntu 25.04虚拟机安装VMware Tools后无法实现主机与虚拟机间的文件复制粘贴和拖拽功能,问题可能源于工具兼容性。建议优先安装open-vm-tools套件(含open-vm-tools-desktop),而非官方VMware Tools。具体方案:通过终端执行安装命令后重启系统。该方法已实测有效解决该兼容性问题。(149字)

安徽锐锋科技-沐雨潇竹 673

webassembly学习

webassembly相关的学习记录,包含webassembly在浏览器中运行,以及在服务端运行的一些方式,以及一些深度学习前端推理框架

u012477435的博客 2625

AI: 机器学习的模型是如何训练的?(在试错中学习)

一句话理解机器学习一般训练过程 :通过有标签样本来调整(学习)并确定所有权重Weights和偏差Bias的理想值。 训练的目标:最小化损失函数 (损失函数下面马上会介绍) 机器学习算法在训练过程中,做的就是:检查多个样本并尝试找出可最大限度地减少损失的模型;目标就是将损失(Loss)最小化 在这里插入图片描述 上图就是一般模型训练的一般过程(试错过程),其中 模型: 将一个或多个特征作为输入,然后返回一个预测 (y’) 作为输出。为了进行简化,不妨考虑一种采用一个特征并返回一个预测的模型,如下公式

HowieXue 薛永浩的博客 3万+

如何打造一个高性能的前端智能推理引擎

什么是前端智能推理引擎 在前端智能推理引擎之前,我们先来说一下什么是”端智能”。 端智能(On-Device Machine Learning)是指把机器学习的应用放在端侧做。这里的“端侧”,是相对于云服务而言的。它可以是手机,也可以是 IOT 设备等。 传统的机器学习,由于模型大小、机器算力的问题,很多是放在服务端做的。比如 Amazon AWS 有“Amazon Rekognition Service”,Google 有 “Google Cloud Vision Service”。而随着以手机为代

数据库技术 388

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

组网第63课:安全域划分——Trust/Untrust/DMZ、区域模型、与 VLAN 的关系

一组接口 + 一组策略 + 一条默认拒绝。一组接口:这个域包含哪些物理口、VLAN、子接口;一组策略:这个域到别的域放行什么、拒绝什么;一条默认拒绝:没写进策略的,一律不通。第三条最关键。没有默认拒绝,前面划的域全是装饰。

qq_36765170的博客 571

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

rust: Fan-out/Fan-in Pattern

本项目基于Rust实现珠宝行业全流程的扇出/扇入模式,采用DDD六层架构。通过ProcessRequestDto与ProcessResponseDto传输数据,将采购、设计、生产等12个业务阶段抽象为可并行执行的FanoutTask子任务。核心由JewelryFanoutFanin实现并行调度:先扇出至12个线程并发执行,再统一扇入汇总结果。系统集成日志(文件+控制台)、重试熔断、内存仓储及依赖注入容器,支持顺序与并发两种调度方式,确保高并发下任务可靠执行与可观测性。

Geovin Du Dream Park 162

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Rust组织管理(AI回答)

你想做的事JS / Python 做法Rust 做法把一个文件纳入工程新建文件即可新建 xxx.rs 后,必须在入口写mod xxx;挂载对外暴露函数/结构体export(Python 默认全公开)默认全私有,必须显式加pub引入别处的函数use crate::模块名::函数名;找路径的基准词./ 或 ../(从 src 根出发)、(上一级 ../)、(当前级 ./)日常写项目:不要用 #[path],直接遵守默认规则——

yaoct的博客 153

自建 RustDesk 服务端后,做一个“装完就能连“的客户端

目前市面上的远程工具(如向日葵、toDesk等)免费版基本上都卡的不行,而且收费版好像也会卡。如果有云服务的话,可以基于 RustDesk 的 hbbs / hbbr 自己部署一套,不过会碰到一个问题:每台电脑装完客户端,都得手动去设置里填三样东西——ID 服务器、中继服务器、Key。填错一个就连不上,还得远程指导同事操作。这篇记录两种解决办法,以及云端编译的完整流程。内容基于 RustDesk 1.5.3 的源码。

风声的专栏 626

Rust LeetCode443 算法题解

LeetCode 443 字符串压缩:原地行程编码,用 start 标记组起点、next 扫描组边界、i 原地写出;长度 1 不写计数使编码不膨胀,写指针不越过读指针。时间 O(n),额外空间 O(1)。

weixin_43379230的博客 178

GitHub 热榜项目:日榜(2026-11-10)

本期共 11 个热门开源项目,合计新增 13,136 stars。榜单前三分别是 Anthropic 的 Agent Skills 仓库、Meta 开源的 React 设计系统 Astryx(+3,278)和用户名检索工具 sherlock(+4,267,本期涨星最多)。其余项目覆盖 DeepMind 的物理引擎 MuJoCo、Claude 官方示例集、自托管智能体记忆系统 GBrain、用 Rust 写的浏览器自动化 CLI、基于 WiFi 信号的人体感知平台 RuView、多市场股票分析工具,以及 Ho

u130130的博客 444

GitHub 今日推荐|HGhubX:Tauri 2 跨平台短剧客户端实战

Tauri 2 + Rust + React 构建的跨平台短剧观看客户端,实现 HLS 代理、AES 封面解密、多线路探测与会话隔离,覆盖桌面与移动全平台。

wfly blog 399

Rust 日志追踪实战:工业边缘场景下的 tracing

Rust 生态下:相比println!log,它提供结构化字段、span 上下文、异步友好和 OpenTelemetry 集成。本文从工程实战角度梳理 tracing 的用法与常见的坑。

ZenovaEdgeOS的博客 560

ARTCRAFT系列软件简单试用手记1

AI辅助开发推动开源重构热潮,ARTCRAFT系列以Rust重写经典软件,性能媲美C/C++。其Launcher支持多平台、多架构,可快速部署开源版Excel(GridCraft)与Word(WordCraft),启动速度远超Office 2016。界面类Office 2016,但暂不完善汉字字号与红头嵌套编辑。项目持续更新,主打“CraftAnything”理念——理解软件原理,自创版本,未来可期。

olegja3d的博客 212

Rust如何实现微服务网关的高并发与限流熔断机制

在现代互联网系统中,微服务架构已成为主流,而微服务网关则是整个系统的重要组成部分。当面对高并发、高可用性需求时,很多开发者对如何用 Rust 实现一个稳定可靠的网关存在疑惑,尤其是处理请求的幂等性、限流和熔断机制。本文将以 Rust 的实际案例为基础,结合生产环境中的具体经验,讲解如何设计和实现一个具备限流与熔断能力的微服务网关。

wuchangjian的专栏 115

第 1 讲:内存布局与所有权解剖——栈帧、胖指针与“移动/拷贝”在汇编层面的真实面目

看图最下面的(或者数组切片&[T]它在栈上占16 个字节,由(ptr, len)两个机器字组成。这就是系统编程里常说的胖指针(普通指针只有 8 字节地址,它胖了一倍,多带了一个 8 字节的长度或虚表指针)。痛点追问:C 语言里表示字符串切片只要一个 8 字节的char*,为什么 Rust 非要浪费双倍的栈空间搞成 16 字节?如果少掉len这一环会出什么乱子?回想一下 C 语言是怎么知道一个字符串在哪结束的:靠在内存末尾塞一个字节的\0求长度是 $O(N)$ 的苦力活:在 C 里调strlen(p)

yaoct的博客 168

Rust LeetCode334 算法题解

本文分析了 LeetCode 334 题“递增的三元子序列”的两种解法。暴力法(三重循环)时间复杂度为 O(n³),仅适用于小数据;最优解采用一次扫描贪心策略,维护 first(最小值)和 second(递增对第二元素的最小值),通过三个分支判断:若当前数大于 second,则存在三元递增子序列;否则更新 first 或 second。算法正确性基于不变式:first 始终为已遍历最小值,second 为可形成递增对的最小尾部。时间复杂度 O(n),空间复杂度 O(1),适用于大规模数据。

weixin_43379230的博客 342
上一篇: Rust 异步与同步的桥接:在同步代码中调用异步函数的最佳实践指南
下一篇: Cargo 与 monorepo:Rust 大型项目的代码组织范式对比与选择
第一程序员
博客等级 码龄1年 1万+粉丝 1822原创
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值