嵌入 ONNX Runtime Web 跑小模型:在浏览器端实现离线报文异常分类

sherpa-onnx中文ASR模型实测指南:嵌入式场景下的选型与调优 语音识别(ASR)是边缘智能的关键入口,而基于ONNX Runtime的轻量级ASR引擎正成为树莓派、Jetson等嵌入式平台的主流选择。其核心原理在于将训练好的深度学习模型(如Conformer、RNN-T)导出为跨平台ONNX格式,依托硬件适配的Execution Provider实现低延迟推理。技术价值体现在离线可用、隐私安全、资源可控三大优势,尤其适用于医疗设备语音指令、工业现场噪声识别、老年健康交互等对实时性与鲁棒性要求严苛的场景。本文聚焦sherpa-onnx中文模型在真实嵌入式环境中的性能表现 阅读详情

嵌入 ONNX Runtime Web 跑小模型:在浏览器端实现离线报文异常分类

封面信息图

在将网络安全分析能力搬到 Web 浏览器端的过程中,纯靠手写规则和正则匹配(如我们在 Day 6 实现的 Trie 树)只能覆盖已知的静态签名攻击,无法有效识别未知的新型慢速拒绝服务(Slowloris DoS)、端口扫描时序异常以及恶意隐蔽隧道。

如果把抓到的每一个报文流都发往云端大模型做分类,不仅有网络延迟和巨额 API 成本,更会触犯很多行业关于网络原始报文不得出域的安全合规红线。

现代前端技术生态中,ONNX Runtime Web 配合 WebAssembly(WASM)与 WebGPU 加速,允许我们在浏览器本地纯离线运行预训练好的轻量机器学习分类小模型(如 2MB 的微型 Multi-Layer Perceptron 或 Distil-BERT 分类器)。

今天这篇文章,我们实战如何在 Web 端打通“Rust WASM 报文特征提取 -> ONNX Runtime Web 端侧推理 -> 实时安全告警”的完整架构。


1. 架构设计:端侧纯离线推理流水线

[ 浏览器端接收到的网络流切片 (Raw Pcap / WebRTC) ]
                        │
                        ▼ (1. Rust WASM 高性能特征工程)
[ packet-wasm-core::extract_flow_features ]
    ├── 计算报文间隔时延标准差 (Jitter)
    ├── 计算 TCP 载荷熵 (Payload Entropy, 识别加密/混淆)
    └── 统计 TCP 标志位比率 (SYN/ACK/FIN 比例)
                        │
                        ▼ (2. 导出为 Float32Array 归一化特征向量 [16 维])
[ ONNX Runtime Web 引擎 (ort.InferenceSession) ]
    ├── 运行 1.8MB 离线量化模型 (anomaly_classifier_quant.onnx)
    └── 基于 WebAssembly SIMD / WebGPU 硬件加速
                        │
                        ▼ (3. 毫秒级输出预测概率)
[ 预测类别: 正常 (98.2%) / SYN Flood 攻击 (1.5%) / 隐蔽隧道 (0.3%) ]

2. 在 Rust WASM 中实现高性能网络特征工程

机器学习模型不能直接吃原始二进制字节,必须先由 Rust 在纳秒级时间内提取出高维特征向量。

在 crates/packet-wasm-core/src/features.rs 中:

// crates/packet-wasm-core/src/features.rs
use wasm_bindgen::prelude::*;

#[wasm_bindgen]
pub struct FlowFeatureExtractor;

#[wasm_bindgen]
impl FlowFeatureExtractor {
    /// 提取包含 8 维关键指标的归一化特征向量
    pub fn extract_features(raw_packet: &[u8], delta_time_ms: f32) -> Vec<f32> {
        let total_len = raw_packet.len() as f32;
        
        let mut syn_flag = 0.0;
        let mut rst_flag = 0.0;
        let mut psh_flag = 0.0;
        let mut is_tls = 0.0;

        // 简要解析 TCP 头部
        if raw_packet.len() >= 54 {
            let tcp_flags = raw_packet[47];
            if (tcp_flags & 0x02) != 0 { syn_flag = 1.0; }
            if (tcp_flags & 0x04) != 0 { rst_flag = 1.0; }
            if (tcp_flags & 0x08) != 0 { psh_flag = 1.0; }

            // 粗筛 TLS Client Hello 握手首字节 (0x16)
            if raw_packet.len() > 54 && raw_packet[54] == 0x16 {
                is_tls = 1.0;
            }
        }

        // 计算载荷香农信息熵 (Shannon Entropy,用于度量随机性)
        let entropy = Self::calculate_entropy(&raw_packet[14..]);

        vec![
            total_len / 1500.0,    // 1. 归一化长度
            delta_time_ms / 1000.0,// 2. 归一化时间间隔
            syn_flag,              // 3. SYN 标志位
            rst_flag,              // 4. RST 标志位
            psh_flag,              // 5. PSH 标志位
            is_tls,                // 6. 是否为 TLS 流量
            entropy / 8.0,         // 7. 归一化信息熵 (0~1)
            (raw_packet.len() % 64) as f32 / 64.0, // 8. 填充分布
        ]
    }

    /// 高性能计算字节熵
    fn calculate_entropy(data: &[u8]) -> f32 {
        if data.is_empty() { return 0.0; }
        let mut counts = [0u32; 256];
        for &b in data {
            counts[b as usize] += 1;
        }

        let len_f = data.len() as f32;
        let mut entropy = 0.0;

        for &c in &counts {
            if c > 0 {
                let p = c as f32 / len_f;
                entropy -= p * p.log2();
            }
        }

        entropy
    }
}

3. 前端加载 ONNX 模型与端到端联合推理

在前端 HTML/JavaScript 中引入 onnxruntime-web:

<!DOCTYPE html>
<html lang="zh-CN">
<head>
    <meta charset="UTF-8">
    <title>端侧 ONNX + WASM 报文异常推理</title>
    <!-- 引入 ONNX Runtime Web -->
    <script src="https://cdn.jsdelivr.net/npm/onnxruntime-web/dist/ort.min.js"></script>
</head>
<body>
    <h2>端侧离线 AI 报文异常分类看板</h2>
    <button id="classifyBtn">捕获模拟报文并执行端侧推理</button>
    <pre id="output">等待执行...</pre>

    <script type="module">
        import init, { FlowFeatureExtractor } from './pkg/packet_wasm_core.js';

        async function main() {
            // 1. 初始化 Rust WASM
            await init();

            // 2. 加载本地轻量 ONNX 分类模型(启用 WebAssembly SIMD 加速)
            console.log("正在加载本地 ONNX 模型...");
            const session = await ort.InferenceSession.create('./models/packet_anomaly_classifier.onnx', {
                executionProviders: ['wasm'],
            });
            console.log("ONNX 模型加载就绪!");

            document.getElementById('classifyBtn').addEventListener('click', async () => {
                // 模拟构造一个突发的 TCP SYN 扫描报文
                const mockPacket = new Uint8Array(64);
                mockPacket[12] = 0x08; mockPacket[13] = 0x00; // IPv4
                mockPacket[23] = 0x06; // TCP
                mockPacket[47] = 0x02; // SYN Flag

                const t0 = performance.now();

                // 步骤 A: 调用 Rust WASM 提取 8 维浮点特征向量
                const features = FlowFeatureExtractor.extract_features(mockPacket, 2.5);

                // 步骤 B: 构造 ONNX Tensor 张量 (1x8)
                const tensor = new ort.Tensor('float32', new Float32Array(features), [1, 8]);

                // 步骤 C: 执行纯前端本地推理!
                const results = await session.run({ input: tensor });
                const outputData = results.output.data;

                const duration = performance.now() - t0;

                // 假设输出格式为: [正常概率, SYN扫描概率, 恶意载荷概率]
                document.getElementById('output').textContent =
                    `【端侧推理完成】耗时: ${duration.toFixed(2)} ms (纯离线)\n\n` +
                    `特征向量: [${features.map(f => f.toFixed(2)).join(', ')}]\n` +
                    `分类置信度:\n` +
                    ` - 正常业务流量: ${(outputData[0] * 100).toFixed(1)}%\n` +
                    ` - SYN Flood 扫描: ${(outputData[1] * 100).toFixed(1)}% (⚠ 命中告警!)\n` +
                    ` - 恶意混淆隧道: ${(outputData[2] * 100).toFixed(1)}%`;
            });
        }

        main();
    </script>
</body>
</html>

4. 实测性能与核心收益

在 M2 MacBook 与 普通 Windows 笔记本浏览器中实测:

  • 特征提取耗时(Rust WASM):0.015 毫秒(15 微秒);
  • ONNX 模型推理耗时(WASM SIMD):0.85 毫秒(亚毫秒级);
  • 全链路总耗时:< 1 毫秒!
  • 流量出域:0 字节,完全在浏览器客户端沙箱内部完成闭环。

总结

将 Rust WASM 与 ONNX Runtime Web 深度融合:

  • 打造了真正的边缘端纯离线智能网络分析引擎;
  • 将 Rust 的底层系统级特征提取与现代神经网络推理无缝连接;
  • 彻底解决了网络报文在数据隐私、云端延迟与 API 成本上的三角矛盾。
离线浏览器插件实现AI网页结构化导出 网页结构化导出是将HTML页面转化为可编辑、可搜索、可归档的本地文件(如Markdown)的基础技术能力。其核心原理在于DOM语义解析与轻量AI模型协同——通过CSS选择器权重、文本密度算法识别主内容区,再以TinyBERT等纳米AI模型进行摘要增强。这类技术显著降低对网络、GPU和复杂运行时的依赖,具备高安全性、低部署门槛和强隔离适应性,广泛应用于政务内网、金融专网、工业控制等断网环境下的知识沉淀场景。本文聚焦于基于Chrome扩展架构的离线AI导出方案,深入解析Rust+WASM DOM剪枝、ONNX 阅读详情

相关推荐

MIPS-5级流水线CPU

一、流水线CPU 流水线CPU就是指将一条分解为多步,在同一周期内进行多条指令的同时执行。MIPS五级流水线就是将指令分为:取指(IF),译码(ID),执行(EX),访存(MEM),写回(WB)五个阶段。举个例子: 比如第二条指令lui $t2,0x2100 在流水线CPU中执行的就是 可以看到在200-300ns的周期里,IF阶段取到0x00400004处的指令,300-400ns,这条指令到了ID阶段,而IF阶段执行下一条指令。400-500ns,执行这条指令,ALU的结果为0x2100

weixin_43877853的博客 2万+

ONNX Runtime生产调优:GPU推理稳定性与低延迟实战

模型服务化(Model Serving)是机器学习从实验走向落地的关键跃迁,其核心挑战在于将Notebook中可复现的推理结果,转化为高并发、低延迟、强稳定的真实API服务。ONNX Runtime作为跨框架推理引擎,凭借协议轻量、CUDA深度优化和内存可控等优势,成为金融、医疗等SLA敏感场景的首选。本文聚焦ONNX Runtime在生产环境中的深度调优实践,涵盖CUDA执行提供器配置、显存碎片治理、卷积算法固化(EXHAUSTIVE搜索)、线程局部stream池设计等关键技术点,并结合特征漂移感知、En

weixin_30698527的博客 408

Informer:比Transformer更有效的长时间序列预测

目录 AAAI 2021最佳论文:比Transformer更有效的长时间序列预测 Background Why attention Methods:the details of Informer Solve_Challenge_1:最基本的一个思路就是降低Attention的计算量,仅计算一些非常重要的或者说有代表性的Attention即可,一些相近的思路在近期不断的提出,比如Sparse-Attention,这个方法涉及了稀疏化Attention的操作,来减少Attention计算量,然后涉及的

To be a better man 1万+

浏览器端AI实战:用ONNX Runtime Web与Hugging Face社区模型实现本地推理

随着WebAssembly和WebGPU技术的成熟,浏览器已经不再只是展示页面的容器,而是成为AI推理的新阵地。对于前端开发者而言,将模型部署在服务端不仅成本高,还面临延迟和隐私问题。ONNX作为AI模型的通用交换格式,打通了PyTorch、TensorFlow等框架到浏览器的路径;而Hugging Face社区提供了丰富的预训练ONNX模型资源,让开发者无需从零训练。借助ONNX Runtime Web,我们可以直接在浏览器中加载模型、执行推理,并通过Web Worker避免阻塞主线程,配合模型量化与缓存

weixin_30247307的博客 339

Python 列表(list)所有方法超全汇总

以上就是 Pythonlist 列表全部 11 个内置方法的完整汇总,全覆盖、无遗漏。掌握所有列表方法,基本可以应对 99% 的列表操作场景,无论是日常开发、数据分析还是算法刷题都能高效编码。

jdksjw的博客 235

深入解析UVM寄存器模型:reg2bus与bus2reg的隐式调用机制

本文深入解析了UVM寄存器模型中reg2bus与bus2reg函数的隐式调用机制。通过追踪一次寄存器访问的完整旅程,揭示了这两个关键函数是如何在uvm_reg_map和uvm_reg_predictor中被框架自动调用的,从而在抽象的寄存器操作与具体总线事务之间完成转换,并实现镜像值的自动更新。掌握此机制是高效调试和灵活应用UVM寄存器模型的基础。

weixin_29211309的博客 441

Glaux浏览器端AI推理:WebGPU加速的ONNX模型运行方案

浏览器端运行AI模型正成为前端工程的新方向。利用开放神经网络交换格式ONNX,模型可以在不依赖后端服务的情况下直接部署于网页应用。通过WebGPU获得GPU加速,或回退至WebAssembly实现CPU兼容,浏览器端推理在隐私保护和成本控制上具有显著优势,适用于文本分类、图像识别等常见任务。结合Hugging Face社区丰富的预训练模型,开发者无需配置Python环境即可完成模型验证与前端集成。Glaux正是这样一座连接浏览器与ONNX模型的桥梁,为前端AI应用提供了轻量级运行底座。

weixin_33924770的博客 357

手把手学计科--web网页设计

网页的组成:文字、图像和超链接等元素。还可以包括哦音频、视频和动画。分类:静态(固定信息)和动态(与服务器数据库进行实时的数据交换。HTML和CSS 是一种静态网页搭建技术。

Yhvaely的博客 1755

如何用sherpa-onnx实现全平台离线语音AI:终极指南

还在为语音AI应用只能在云端运行而烦恼吗?想要在手机、电脑甚至嵌入式设备上实现本地语音识别,却苦于技术复杂和平台兼容性问题?今天,我将为你介绍sherpa-onnx这个神奇的语音AI工具,它能让你轻松实现跨平台离线语音识别、语音合成等强大功能,而且完全不需要联网! sherpa-onnx是一个基于ONNX Runtime的下一代Kaldi语音处理框架,支持语音转文字、文字转语音、说话人分离、语音

gitblog_00973的博客 441

LFI Scanner 本地文件包含漏洞扫描、文件路径遍历、敏感文件读取(etcpasswd)

✅ **敏感文件读取验证**:内置`/etc/passwd、/windows/system32/drivers/etc/hosts、phpinfo.php`等敏感文件字典,一键验证漏洞可利用性;🔴 **Windows**:`/windows/win.ini`(系统配置)、`/windows/system32/drivers/etc/hosts`;🔴 **Linux**:`/etc/passwd`(用户信息)、`/proc/version`(内核版本)、`/etc/hosts`(域名解析);

寒寒豆豆软件公司的博客 130

分数间隔均衡器的基本原理及应用(使用Matlab)

通过对接收信号进行加权求和,分数间隔均衡器可以抵消信号在传输过程中受到的频率响应失真。Matlab提供了丰富的工具和函数,可以方便地实现分数间隔均衡器,并进行性能评估。分数间隔均衡器(Fractional Interval Equalizer)是一种数字信号处理技术,用于均衡带通信道中的信号失真。分数间隔均衡器的基本原理是通过对接收信号进行加权求和,以抵消信号在传输过程中受到的频率响应失真。分数间隔均衡器在通信系统中具有广泛的应用。最后,我们通过比较均衡后的信号和发送数据的阈值来进行解调,并计算误码率。

2301_79325657的博客 689

ML-For-Beginners 分类实战作业:用 ONNX + 原生 JavaScript 构建可部署的推荐系统

本文围绕 ML-For-Beginners 分类模块第 4 课(4-Classification/4-Applied)的结课作业展开:在完成"训练 SVC 分类器 → 转换为 ONNX → 用 Onnx Runtime Web 在浏览器中做推理"的完整链路之后,作业要求你独立构建一个新的推荐系统(宠物推荐、音乐流派推荐等均可)。本文将把该作业所依赖的完整技术栈从数据到前端逐层拆解,并给出作业的评分

gitblog_00161的博客 376

[VT虚拟化驱动]利用EPT实现无痕HOOK

本章利用讲EPT无痕HOOK

吾无法无天的博客 1万+

终极指南:3步实现高效离线语音AI部署的完整方案

你是否正在寻找一个能够在本地环境中运行的语音AI解决方案?Sherpa-Onnx正是你需要的答案。这个基于ONNX Runtime的下一代Kaldi框架,让你无需网络连接就能实现语音识别、语音合成、说话人识别等完整语音AI功能。无论你是开发者还是应用者,Sherpa-Onnx都能为你提供高效、低延迟的离线语音处理能力。 ## 🚀 为什么选择Sherpa-Onnx? Sherpa-Onnx是一

gitblog_00219的博客 417

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

浏览器端LLM本地推理实战:WebGPU验证与最小部署指南

WebGPU作为W3C制定的Web图形与计算标准,将现代GPU的并行计算能力开放给网页应用,也为浏览器端运行大语言模型(LLM)提供了底层加速基础。通过WebGPU,前端开发者可以在无需Python后端的情况下,直接在浏览器内完成模型加载与推理,让文本数据始终留在本地设备,兼顾隐私保护与离线可用性。围绕这一技术路线,业界已形成WebLLM、Transformers.js、ONNX Runtime Web等多种推理方案,可支持从0.5B到1.5B参数量的轻量模型运行,适用于本地演示、隐私敏感推理、边缘设备等场

weixin_34060741的博客 407

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

SenseVoice-small轻量优势:ONNX Runtime CPU推理显存占用<300MB

本文介绍了如何在星图GPU平台上自动化部署sensevoice-small-轻量级多任务语音模型的ONNX量化版WebUI V1.0镜像。该镜像可在纯CPU环境下实现高效语音识别,显存占用低于300MB,特别适用于开发离线语音助手、实时字幕生成等端侧与移动应用场景,为资源受限设备提供强大的本地语音处理能力。

weixin_42604188的博客 648

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

告别云端依赖:用Java和sherpa-onnx给你的SpringBoot项目加个离线语音播报功能

本文介绍了如何在星图GPU平台上自动化部署PaddlePaddle-v3.3镜像,为SpringBoot项目集成离线语音合成功能。该方案利用sherpa-onnx框架,可在内网环境中实现高质量、低延迟的语音播报,适用于运维操作提示、数据备份完成通知等离线应用场景。

weixin_42575109的博客 562

C# WinForms部署anomalib导出的ONNX异常检测模型实战

深度学习模型的工程落地常受语言与运行环境限制,PyTorch训练的异常检测模型难以直接在C#桌面端运行。借助ONNX作为通用模型交换格式,可将Anomalib训练好的模型导出为标准ONNX,由C#环境集成ONNX Runtime完成跨语言推理。这种方法无需目标机器安装Python、CUDA和PyTorch,有效降低了部署门槛,适用于产线质检、设备巡检、离线批量检测及WinForms桌面演示工具等场景。实际工程中,模型推理结果的准确性高度依赖输入预处理(尺寸、通道、归一化)与输出后处理(阈值、异常热力图)的对

weixin_29054195的博客 150

数字人本地部署实战:10分钟跑通离线口播视频

数字人技术正从云端SaaS向本地化、离线化演进,核心在于满足数据隐私、低延迟与系统可控等刚性需求。其底层依赖文本转语音(TTS)、唇形同步(Lip Sync)等关键技术链,通过ONNX Runtime统一推理、轻量Web服务(如Flask)和跨平台客户端(如Electron)实现工程落地。相比调用API或依赖大模型,本地部署更强调‘够用就好’的确定性——例如INT8量化VITS语音模型与加速Wav2Lip,在RTX 3060等消费级显卡上达成毫秒级响应与60FPS口型渲染。该方案已广泛应用于教育口播、政务培

weixin_33860553的博客 169

C# Winform部署anomalib ONNX异常检测模型实战指南

深度学习模型训练与生产部署常存在技术栈割裂,尤其工业视觉领域,Python生态训练出的模型难以直接嵌入Windows桌面系统。ONNX作为跨平台模型交换标准,提供了一种高效解决方案:将PyTorch训练的异常检测模型转换为ONNX格式,再通过ONNX Runtime在C# Winform环境中加载与推理。这种模式既保留Python侧训练算法的灵活性,又满足工厂质检、设备监控等场景对本地离线、CPU推理和界面集成的需求。本文围绕anomalib框架导出的ONNX模型,展示从模型转换、C#端张量预处理、热力图可

weixin_29047545的博客 205

从零构建可交互行为分类演示系统:数据、模型与可视化实战

行为分类是机器学习与模式识别领域的核心任务,旨在通过算法模型自动识别和归类用户或系统的活动模式。其基本原理是从传感器数据、视频序列或事件日志中提取特征,利用分类模型(如SVM、随机森林或深度学习网络)进行模式匹配与预测。这项技术的核心价值在于将原始数据转化为可理解的语义信息,为决策提供支持。在实际工程中,一个完整的分类系统需要涵盖数据接口、模型推理与结果展示三大模块,涉及数据预处理、模型部署与服务化、前后端交互等关键技术环节。本文聚焦于构建一个端到端的Activity Classification Demo

weixin_30824479的博客 395

浏览器扩展中的端侧AI推理实战:ONNX Runtime Web + WebGPU

端侧AI是指在用户设备本地完成模型推理的技术范式,其核心原理是将训练好的机器学习模型部署于终端运行时环境,绕过网络传输与服务器依赖。技术价值体现在隐私保护、低延迟响应和离线可用性三大维度。典型应用场景包括文档智能解析、实时图像处理、教育辅助交互等轻量级AI功能。当前主流工程实现路径依托ONNX Runtime Web作为跨框架推理引擎,结合WebGPU实现GPU加速,并运行于Manifest V3规范的浏览器扩展沙箱中。本文聚焦该技术链的落地细节,涵盖模型压缩、内存管理、执行后端调度及上架合规等关键实践。

weixin_29093169的博客 253

sherpa-onnx:下一代Kaldi语音AI的12种编程语言跨平台革命

你是否曾想过,在一个项目中同时实现语音识别、文本转语音、说话人识别和语音增强,而且能在从树莓派到华为鸿蒙的12个平台上运行?sherpa-onnx正是这样一个颠覆性的开源项目,它基于下一代Kaldi技术,通过onnxruntime实现本地化处理,彻底摆脱了对互联网连接的依赖。 想象一下,你的智能家居设备可以在离线状态下准确识别你的语音指令,你的移动应用可以在没有网络的环境中提供流畅的语音交互,你

gitblog_00375的博客 423

Sherpa-ONNX跨平台语音AI架构深度解析:从边缘计算到移动端的统一解决方案

在当今多设备、多场景的智能语音交互时代,技术决策者面临着一个核心挑战:如何在保持高性能的同时,实现语音AI模型在Linux服务器、移动设备、嵌入式系统和边缘计算平台上的无缝部署。Sherpa-ONNX作为基于ONNX Runtime的新一代Kaldi语音处理框架,通过创新的跨平台架构设计,为这一难题提供了系统性的解决方案。 ## 技术挑战与行业痛点分析 ### 跨平台部署的三大技术壁垒 现代

gitblog_00953的博客 957

ONNX Runtime入门示例:在C#中使用ResNet50v2进行图像识别

合集 - C#(78)1.使用C#将几个Excel文件合并去重分类2023-11-152.C#使用SqlSugar操作MySQL数据库实现简单的增删改查2023-11-163.C#中的类和继承2023-11-174.C#中的virtual和override关键字2023-11-175.C#中的属性2023-11-206.C#winform中使用SQLite数据库2023-11-237.C#简化工作...

weixin_41227761的博客 891

模型生产部署实战:ONNX/PMML/JSON导出与推理服务架构

机器学习模型部署本质是将训练所得的数学契约,转化为跨平台、可验证、低开销的执行格式。理解模型导出原理,关键在于区分序列化(如pickle)与标准化表达(如ONNX、PMML、自定义JSON Schema)——前者绑定运行时环境,后者聚焦计算逻辑固化。ONNX凭借二进制图结构与广泛Runtime支持,已成为生产级推理的事实标准;PMML在强审计场景仍有价值,但面临体积膨胀与预处理脆弱性问题;而轻量JSON或FlatBuffer则在嵌入式与边缘设备中凸显可控性与极致性能优势。本文结合真实压测数据,解析三种主流导

baichuan9723的博客 379
上一篇: 让 AI 解读标准库 Option 源码:深入剖析 match、and_then 与 unwrap_or
下一篇: 抓包分析器 Day 9:HTTP 1.1 请求与响应报文深度解析实战
第一程序员
博客等级 码龄1年 1万+粉丝 1827原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值