Hertz-dev 开源项目教程

Hertz-dev 开源项目教程

hertz-dev first base model for full-duplex conversational audio 项目地址: https://gitcode.com/gh_mirrors/he/hertz-dev

1. 项目介绍

Hertz-dev 是一个开源的、首个全双工对话音频的基础模型。它能够处理音频信号，并支持实时对话。项目的详细信息可以在官方博客上查看。

2. 项目快速启动

环境要求

• Python 3.10
• CUDA 12.1

安装步骤

首先，确保安装了正确版本的 CUDA，然后使用以下命令安装 PyTorch：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

接下来，安装项目依赖：

pip install -r requirements.txt

在 Ubuntu 系统上，可能还需要安装 libportaudio2：

sudo apt-get install libportaudio2

使用模型

推荐从使用 inference.ipynb 开始，该脚本可以从提示生成单通道或双通道的音频补全。

要实时与模型对话，可以使用 inference_client.py 和 inference_server.py。这些脚本主要在 Ubuntu 服务器和 MacOS 客户端上进行了测试。

如果你想要通过浏览器使用 WebRTC 技术，可以安装额外的依赖：

pip install -r requirements_webrtc.txt

然后运行客户端：

streamlit run inference_client_webrtc.py

在本地浏览器中访问：

http://localhost:8501

如果需要在非 localhost 的服务器上托管 Streamlit 客户端，可能需要通过 HTTPS 连接以避免错误。一个简单的解决方法是通过 SSH 进行端口转发：

ssh -L 127.0.0.1:8501:remote-host:8501 user@remote-host

然后，你可以像平常一样在本地访问客户端。

如果从远程主机使用 HTTPS 服务，可能需要一个 STUN 服务器来建立连接。可以通过传递 --use_ice_servers 标志来实现：

streamlit run inference_client_webrtc.py -- --use_ice_servers

3. 应用案例和最佳实践

（此部分将介绍如何在实际应用中使用 Hertz-dev 模型，包括但不限于具体的应用场景、配置调整、性能优化等。具体内容需要根据实际项目文档和用户反馈来编写。）

4. 典型生态项目

（此部分将列举一些与 Hertz-dev 相关的生态项目，包括但不限于插件、工具、扩展等，以促进用户对整个项目生态的了解。具体内容需要根据实际项目社区的情况来编写。）

（注意：以上内容只是一个教程框架，具体内容需要根据项目的实际文档和用户需求来填充。）

hertz-dev first base model for full-duplex conversational audio 项目地址: https://gitcode.com/gh_mirrors/he/hertz-dev