Neuro项目安装与配置指南

Neuro项目安装与配置指南

Neuro A recreation of Neuro-Sama originally created in 7 days. 项目地址: https://gitcode.com/gh_mirrors/neuro6/Neuro

1. 项目基础介绍

Neuro项目是一个开源项目，旨在在普通消费者的硬件上重现Neuro-Sama。Neuro-Sama是一个能够在实时语音输入和输出之间进行交互的人工智能系统。该项目包括实时语音识别（STT）、实时文本转语音（TTS）、前端控制面板等功能，同时还支持与VTuber Studio插件和模型/道具控制等。

主要编程语言：Python

2. 项目使用的关键技术和框架

• LLM（Language Learning Model）：使用oobabooga/text-generation-webui，配合LLAMA 3 8B Instruct EXL2 4.0bpw模型。
• STT（Speech-to-Text）：使用KoljaB/RealtimeSTT，配置为使用faster_whisper tiny.en模型。
• TTS（Text-to-Speech）：使用KoljaB/RealtimeTTS，配置为使用CoquiTTS的XTTSv2模型。
• 前端控制面板：使用python-socket.io与前端进行通信，前端基于sveltekit和shadcn-svelte开发。

3. 项目安装和配置的准备工作

在开始安装之前，请确保您的系统满足以下要求：

• 操作系统：Windows 11
• Python版本：3.11
• Pytorch版本：2.2.2（CUDA 11.8版本）
• GPU：NVIDIA GPU，至少12GB VRAM（推荐）
• 其他软件：VTuber Studio（从Steam安装），虚拟音频线（可选）

安装步骤

1. 设置Python虚拟环境

   创建一个虚拟环境并激活它：

   python -m venv venv
   .\venv\Scripts\activate  # 在Windows上
   source venv/bin/activate  # 在Linux或macOS上
   

2. 安装Pytorch

   安装CUDA 11.8版本的Pytorch：

   pip install torch==2.2.2 torchvision==0.17.2 torchaudio==2.2.2 --index-url https://download.pytorch.org/whl/cu118
   

3. 安装项目依赖

   使用pip安装项目中的requirements.txt文件中列出的依赖项：

   pip install -r requirements.txt
   

4. 配置环境变量

   根据项目需求，配置.env文件中的环境变量。

5. 安装VTuber Studio和虚拟音频线

   从Steam安装VTuber Studio，并根据需要安装虚拟音频线。

6. 配置Twitch OAuth

   在Twitch开发者门户创建新的应用程序，并设置OAuth重定向URL为http://localhost:17563。

7. 启动项目

   运行main.py文件以启动项目：

   python main.py
   

请按照以上步骤逐步操作，确保每一步都正确无误。如果在安装过程中遇到任何问题，请检查相关错误信息，并参考项目文档或社区寻求帮助。

Neuro A recreation of Neuro-Sama originally created in 7 days. 项目地址: https://gitcode.com/gh_mirrors/neuro6/Neuro