Moshi 项目使用与启动教程

Moshi 项目使用与启动教程

moshi 项目地址: https://gitcode.com/gh_mirrors/mos/moshi

1. 项目介绍

Moshi 是一个基于深度学习的语音-文本基础模型，以及全双工语音对话框架。它采用了一种名为 Mimi 的最先进的流式神经音频编解码器。Mimi 能够将 24 kHz 的音频降至 12.5 Hz 的表示，带宽仅为 1.1 kbps，并且以完全流式的方式（80ms 帧大小，延迟）进行处理，其性能优于现有的非流式编解码器。

Moshi 模型处理两个音频流：一个是 Moshi 自己的，另一个是用户的。在推理时，用户的音频流从输入中获取，而 Moshi 的音频流则是从模型输出中采样的。这两个音频流旁边，Moshi 预测与它自己的讲话相对应的文本标记，以及它的内心独白，这大大提高了其生成的质量。

2. 项目快速启动

首先，确保您的系统中安装了至少 Python 3.10，推荐使用 Python 3.12。

安装依赖

安装 Moshi 的 PyTorch 客户端：

pip install -U moshi

安装 Moshi 的 MLX 客户端（最好在 Python 3.12 上运行）：

pip install -U moshi_mlx

如果需要安装最新的开发版本，可以使用以下命令：

pip install -U -e "git+https://git@github.com/kyutai-labs/moshi.git#egg=moshi&subdirectory=moshi"
pip install -U -e "git+https://git@github.com/kyutai-labs/moshi.git#egg=moshi_mlx&subdirectory=moshi_mlx"

安装 Mimi 的 Rust 实现，带有 Python 绑定：

pip install rustymimi

启动服务

启动 Moshi 服务的命令如下：

python -m moshi.server [--gradio-tunnel] [--hf-repo kyutai/moshika-pytorch-bf16]

启动服务后，可以通过浏览器访问 localhost:8998 来使用 Web UI。

如果 GPU 在远程机器上，需要使用 SSH 端口转发来访问服务。

3. 应用案例和最佳实践

案例一：实时语音对话

使用 Moshi 模型构建实时语音对话系统，通过流式传输音频数据，模型能够实时生成对应的文本回复。

案例二：语音合成

利用 Moshi 模型中的语音编解码器，可以将文本转换为自然流畅的语音输出。

4. 典型生态项目

• Hibiki：另一个基于 Moshi 的开源项目，提供了更多的功能和优化。

请注意，本教程仅为入门指导，详细的文档和高级用法请参考项目的官方文档和社区资源。

moshi 项目地址: https://gitcode.com/gh_mirrors/mos/moshi