开源项目Sage安装与配置指南

开源项目Sage安装与配置指南

sage Self-hosted voice chat with LLMs 项目地址: https://gitcode.com/gh_mirrors/sage6/sage

1. 项目基础介绍

Sage是一个开源项目，它允许用户使用语音与大型语言模型进行对话。该项目旨在提供一种无需联网即可在个人硬件上运行的方式，具有低延迟的特点。Sage是模块化的，这意味着更换语言模型提供商只需要更改环境变量。

该项目主要使用的编程语言包括Rust和TypeScript，此外还使用了HTML、JavaScript、Shell和Batchfile等。

2. 项目使用的关键技术和框架

• Ollama: 用于文本生成的语言模型，可以自托管。
• Whisper: 一个开源的语音识别模型，用于将语音转换成文本。
• Docker: 用于容器化应用，简化部署过程。
• Bun: 一个基于Rust的JavaScript运行时，用于构建项目。

3. 安装和配置准备工作

在开始安装Sage之前，请确保您的系统中已安装以下依赖项：

• Docker（如果选择使用Docker容器）
• Bun
• Rust
• OpenSSL
• LLVM
• Clang
• CMake

确保所有这些工具都可以通过系统环境变量$PATH访问。

安装步骤

使用Docker安装

1. 安装Docker并启动守护程序。
2. 下载模型文件kokoro-v0_19.onnx、voices.json和ggml-large-v3-turbo.bin，并将它们放置在项目根目录下的models文件夹中。
3. 在项目根目录下打开终端，运行以下命令构建Docker镜像：

   bun docker-build
   

4. 构建完成后，运行以下命令启动Docker容器：

   bun docker-run
   

5. UI界面将在http://localhost:3000上可用。

不使用Docker安装

1. 安装Bun、Rust、OpenSSL、LLVM、Clang和CMake。
2. 根据您的操作系统，运行setup-unix.sh或setup-win.bat脚本来安装依赖项和编译所需的模型权重。
3. 脚本执行完成后，使用以下命令启动项目：

   bun start
   

4. 第一次在macOS上运行时可能会比较慢，因为ANE服务需要将Whisper CoreML模型编译为设备特定的格式。后续运行将会更快。

请注意，以上步骤仅为概述，实际安装过程中可能需要更多的细节操作。在遇到具体问题时，请参考项目的README文件和官方文档以获取更多信息。

sage Self-hosted voice chat with LLMs 项目地址: https://gitcode.com/gh_mirrors/sage6/sage