Nexa SDK安装与配置指南

Nexa SDK安装与配置指南

nexa-sdk Nexa SDK is a comprehensive toolkit for supporting GGML and ONNX models. It supports text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-to-speech (TTS) capabilities. 项目地址: https://gitcode.com/gh_mirrors/ne/nexa-sdk

1. 项目基础介绍

Nexa SDK 是一个开源的本地设备推理框架，支持 ONNX 和 GGML 模型。它支持文本生成、图像生成、视觉语言模型（VLM）、音频语言模型、自动语音识别（ASR）和文本到语音（TTS）等功能。该框架适用于多种设备，包括 CPU、GPU（CUDA、Metal、ROCm）、iOS 设备。

主要编程语言：C++、Python

2. 项目使用的关键技术和框架

• GGML：一个用于神经网络推理的轻量级库，支持 GPU 和 CPU。
• ONNX：开放神经网络交换格式，允许在不同框架和平台之间转移模型。
• Streamlit：用于快速开发和部署数据科学项目的工具，可以创建交互式Web应用。
• CUDA：NVIDIA推出的并行计算平台和编程模型。
• Metal：苹果推出的用于图形和计算任务的框架。

3. 项目安装和配置准备工作

准备工作

• 确保你的系统满足以下要求：
  • macOS、Windows 或 Linux 操作系统
  • Python 3.6 或更高版本
  • pip 安装器
  • 相应的GPU驱动程序和CUDA Toolkit（如果使用GPU）

安装步骤

1. 克隆项目

首先，克隆项目到本地：

git clone --recursive https://github.com/NexaAI/nexa-sdk.git

如果忘记使用 --recursive 参数，可以使用以下命令添加子模块：

git submodule update --init --recursive

2. 安装Python包

项目提供了预构建的wheel包，可以通过pip安装。

对于CPU版本：

pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cpu --extra-index-url https://pypi.org/simple --no-cache-dir

对于支持Metal的GPU版本（macOS）：

CMAKE_ARGS="-DGGML_METAL=ON"
pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/metal --extra-index-url https://pypi.org/simple --no-cache-dir

对于支持CUDA的GPU版本：

确保安装了CUDA Toolkit 12.0 或更高版本，然后根据操作系统执行以下命令：

• Linux:

CMAKE_ARGS="-DGGML_CUDA=ON"
pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dir

• Windows (PowerShell):

$env:CMAKE_ARGS="-DGGML_CUDA=ON"
pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dir

• Windows (Command Prompt):

set CMAKE_ARGS=-DGGML_CUDA=ON
pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dir

• Windows (Git Bash):

CMAKE_ARGS=-DGGML_CUDA=ON
pip install nexaai --prefer-binary --index-url https://github.nexa.ai/whl/cu124 --extra-index-url https://pypi.org/simple --no-cache-dir

3. 验证安装

安装完成后，可以在Python环境中运行以下命令来验证安装：

import nexaai
print(nexaai.__version__)

如果正确输出了版本号，则表示安装成功。

以上就是Nexa SDK的基本安装和配置指南。你可以根据项目文档进行更深入的学习和探索。

nexa-sdk Nexa SDK is a comprehensive toolkit for supporting GGML and ONNX models. It supports text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-to-speech (TTS) capabilities. 项目地址: https://gitcode.com/gh_mirrors/ne/nexa-sdk