Mini-Omni2 开源项目使用与启动教程

Mini-Omni2 开源项目使用与启动教程

mini-omni2 Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities。 项目地址: https://gitcode.com/gh_mirrors/mi/mini-omni2

1. 项目介绍

Mini-Omni2 是一个全交互式模型，它能够理解图像、音频和文本输入，并能与用户进行端到端的语音对话。该模型具备实时语音输出功能，能够进行多模态理解，并且在与用户交互时支持中断机制，使得交互更加灵活。

2. 项目快速启动

环境准备

首先，创建一个新的 conda 环境，并安装所需的包：

conda create -n omni python=3.10
conda activate omni

然后，从 GitHub 克隆项目：

git clone https://github.com/gpt-omni/mini-omni2.git
cd mini-omni2

安装项目所需的依赖：

pip install -r requirements.txt

启动服务

在启动演示之前，需要先启动服务端：

sudo apt-get install ffmpeg
conda activate omni
cd mini-omni2
python3 server.py --ip '0.0.0.0' --port 60808

运行 Streamlit 演示

接下来，运行 Streamlit 演示：

pip install PyAudio==0.2.14
API_URL=http://0.0.0.0:60808/chat streamlit run webui/omni_streamlit.py

本地测试

激活 conda 环境，并运行预设的音频样本和问题测试：

conda activate omni
cd mini-omni2
python inference_vision.py

3. 应用案例和最佳实践

在这一部分，您将学习如何在实际应用中使用 Mini-Omni2，包括但不限于多模态交互、实时语音对话等。您可以参考项目提供的示例代码和文档，来开发自己的应用。

4. 典型生态项目

Mini-Omni2 项目是基于一系列开源项目构建的，包括 Qwen2、litGPT、whisper、clip、snac、CosyVoice、OpenOrca 和 MOSS 等。这些项目共同构成了一个生态系统，为 Mini-Omni2 提供了强大的支持。您可以探索这些项目，以深入了解 Mini-Omni2 的技术背景和潜在的应用场景。

以上是 Mini-Omni2 的基本使用和启动教程，希望对您有所帮助。

mini-omni2 Towards Open-source GPT-4o with Vision, Speech and Duplex Capabilities。 项目地址: https://gitcode.com/gh_mirrors/mi/mini-omni2