《Mini-Omni2项目安装与配置指南》

《Mini-Omni2项目安装与配置指南》

mini-omni2 Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities。 项目地址: https://gitcode.com/gh_mirrors/mi/mini-omni2

1. 项目基础介绍

Mini-Omni2是一个开源项目，它是一个全交互式模型，能够理解图像、音频和文本输入，并能与用户进行端到端的语音对话。该模型支持实时语音输出，具备多模态理解能力，以及在与用户交互时中断并灵活响应的能力。

本项目主要使用的编程语言是Python。

2. 项目使用的关键技术和框架

• Qwen2：作为LLM（Large Language Model）的 backbone。
• litGPT：用于训练和推理。
• whisper：用于音频编码。
• clip：用于图像编码。
• snac：用于音频解码。
• CosyVoice：用于生成合成语音。
• OpenOrca和MOSS：用于对齐。

3. 项目安装和配置的准备工作

在开始安装前，请确保您的系统满足以下要求：

• Python环境（本项目建议使用Python 3.10）。
• conda（用于创建Python虚拟环境）。
• Git（用于克隆项目代码）。

安装步骤

1. 创建并激活虚拟环境：

   conda create -n omni python=3.10
   conda activate omni
   

2. 克隆项目代码：

   git clone https://github.com/gpt-omni/mini-omni2.git
   

3. 安装项目依赖：

   cd mini-omni2
   pip install -r requirements.txt
   

4. 安装ffmpeg（用于音频处理）：

   sudo apt-get install ffmpeg
   

5. 启动服务：

   在项目目录下，运行以下命令启动服务，确保--ip后面跟的是您服务器的IP地址，--port后面跟的是端口号：

   python3 server.py --ip '0.0.0.0' --port 60808
   

6. 运行streamlit演示：

   在运行streamlit之前，确保在本地安装了PyAudio：

   pip install PyAudio==0.2.14
   

   设置API_URL为您的服务器地址，并运行streamlit：

   API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py
   

7. 本地测试：

   在项目目录下，运行以下命令测试预设的音频样本和问题：

   python inference_vision.py
   

按照上述步骤操作，您应该能够成功安装并配置Mini-Omni2项目。在操作过程中，请确保每一步都正确无误地执行。如果在安装过程中遇到问题，建议查阅项目文档或在相关技术社区寻求帮助。

mini-omni2 Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities。 项目地址: https://gitcode.com/gh_mirrors/mi/mini-omni2