Nexa SDK 使用教程

Nexa SDK 使用教程

nexa-sdk Nexa SDK is a comprehensive toolkit for supporting GGML and ONNX models. It supports text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-to-speech (TTS) capabilities. 项目地址: https://gitcode.com/gh_mirrors/ne/nexa-sdk

1. 项目介绍

Nexa SDK 是一个开源的本地设备推理框架，支持 ONNX 和 GGML 模型。它支持文本生成、图像生成、视觉语言模型（VLM）、音频语言模型、自动语音识别（ASR）以及文本到语音（TTS）等功能。Nexa SDK 可以通过 Python 包或可执行安装程序进行安装，支持在 CPU、GPU（CUDA、Metal、ROCm）、iOS 设备上运行。

2. 项目快速启动

以下是在不同操作系统和设备上快速启动 Nexa SDK 的步骤。

macOS 安装

curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh

Windows 安装

curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh

Linux 安装

curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh

Python 包安装

对于不同 Python 版本和平台的预构建 wheel 包，可以使用以下命令安装：

• CPU 版本：

  pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cpu --extra-index-url https://pypi.org/simple --no-cache-dir
  

• Metal (macOS) GPU 版本：

  CMAKE_ARGS="-DGGML_METAL=ON"
  pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/metal --extra-index-url https://pypi.org/simple --no-cache-dir
  

• CUDA (Linux) GPU 版本：

  CMAKE_ARGS="-DGGML_CUDA=ON"
  pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dir
  

• CUDA (Windows) GPU 版本：

  set CMAKE_ARGS="-DGGML_CUDA=ON"
  pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dir
  

3. 应用案例和最佳实践

以下是一些使用 Nexa SDK 的应用案例和最佳实践：

• 本地推理：在设备上部署模型，实现本地推理，提高隐私和安全性。
• 移动设备支持：利用 iOS 和 Android 绑定，在移动设备上进行本地推理。
• 多模态模型：支持文本、图像和音频等多模态模型，适用于复杂的任务场景。

4. 典型生态项目

Nexa SDK 的生态系统包括以下典型项目：

• Nexa AI：提供 AI 功能的核心库。
• Nexa Server：一个 OpenAI 兼容的 API 服务器，支持 JSON schema 的函数调用和流式支持。
• Nexa CLI：命令行工具，用于与 Nexa SDK 交互。

以上就是关于 Nexa SDK 的使用教程，希望对您有所帮助。

nexa-sdk Nexa SDK is a comprehensive toolkit for supporting GGML and ONNX models. It supports text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-to-speech (TTS) capabilities. 项目地址: https://gitcode.com/gh_mirrors/ne/nexa-sdk