OnnxStream 开源项目使用教程

OnnxStream 开源项目使用教程

OnnxStream Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2 (or in 298MB of RAM) 项目地址: https://gitcode.com/gh_mirrors/on/OnnxStream

1. 项目介绍

OnnxStream 是一个轻量级的推理库，专门用于处理 ONNX 文件，使用 C++ 编写。它能够在资源受限的设备上运行复杂的模型，如 Stable Diffusion XL 1.0 和 Mistral 7B。OnnxStream 支持多种架构，包括 ARM、x86、WASM 和 RISC-V，并且通过 XNNPACK 进行加速。

主要特点

• 轻量级: 能够在 Raspberry Pi Zero 2 上运行 Stable Diffusion XL 1.0，仅占用 298MB 的 RAM。
• 多架构支持: 支持 ARM、x86、WASM 和 RISC-V。
• 性能优化: 通过 XNNPACK 加速推理过程。
• 灵活性: 支持多种模型，包括 Stable Diffusion、TinyLlama 和 Mistral。

2. 项目快速启动

环境准备

• 安装 C++ 编译器（如 GCC）。
• 安装 CMake 和 Git。

克隆项目

git clone https://github.com/vitoplantamura/OnnxStream.git
cd OnnxStream

构建项目

mkdir build
cd build
cmake ..
make

运行示例

./examples/YOLOv8n_wasm/YOLOv8n_wasm

3. 应用案例和最佳实践

案例1: 在 Raspberry Pi Zero 2 上运行 Stable Diffusion XL 1.0

OnnxStream 能够在 Raspberry Pi Zero 2 上运行 Stable Diffusion XL 1.0，仅占用 298MB 的 RAM。以下是具体步骤：

1. 确保 Raspberry Pi Zero 2 已连接到互联网。
2. 克隆并构建 OnnxStream 项目。
3. 运行 Stable Diffusion XL 1.0 示例。

案例2: 在桌面和服务器上运行 Mistral 7B

OnnxStream 也适用于桌面和服务器环境，能够运行 Mistral 7B 模型。以下是具体步骤：

1. 在桌面或服务器上安装必要的依赖。
2. 克隆并构建 OnnxStream 项目。
3. 运行 Mistral 7B 示例。

4. 典型生态项目

1. XNNPACK

XNNPACK 是一个用于加速神经网络推理的库，OnnxStream 通过 XNNPACK 实现了高性能的推理。

2. Hugging Face Diffusers

Hugging Face 的 Diffusers 库提供了 Stable Diffusion 模型的实现，OnnxStream 支持从 Diffusers 库导出的 ONNX 文件。

3. TinyLlama

TinyLlama 是一个轻量级的语言模型，OnnxStream 支持在资源受限的设备上运行 TinyLlama 模型。

通过这些生态项目的支持，OnnxStream 能够提供广泛的模型支持和高效的推理性能。

OnnxStream Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2 (or in 298MB of RAM) 项目地址: https://gitcode.com/gh_mirrors/on/OnnxStream