Hertz-dev开源项目教程

Hertz-dev开源项目教程

hertz-dev first base model for full-duplex conversational audio 项目地址: https://gitcode.com/gh_mirrors/he/hertz-dev

1. 项目目录结构及介绍

Hertz-dev项目的目录结构如下所示：

hertz-dev/
├── prompts/
├── utils/
├── .gitignore
├── LICENSE
├── README.md
├── inference.ipynb
├── inference_client.py
├── inference_client_webrtc.py
├── inference_server.py
├── ioblocks.py
├── model.py
├── requirements.txt
├── requirements_webrtc.txt
├── tokenizer.py
└── transformer.py

• prompts/: 包含用于生成对话音频的提示（prompts）文件。
• utils/: 包含项目所需的实用工具类和函数。
• .gitignore: 指定git版本控制时应该忽略的文件和目录。
• LICENSE: 项目的Apache-2.0许可证文件。
• README.md: 项目的自述文件，包含项目信息和基本使用说明。
• inference.ipynb: Jupyter笔记本文件，用于生成单声道或双声道音频的完成品。
• inference_client.py: Python脚本，用于实时通过麦克风与模型对话。
• inference_client_webrtc.py: 基于streamlit和streamlit-webrtc的Python脚本，通过浏览器进行实时对话。
• inference_server.py: Python脚本，用于创建服务器以供客户端连接。
• ioblocks.py: 包含输入输出模块的代码。
• model.py: 定义了项目中使用的模型。
• requirements.txt: 项目的Python依赖项列表。
• requirements_webrtc.txt: 使用WebRTC时所需的额外Python依赖项。
• tokenizer.py: 包含将文本转换为模型能理解的格式所需的代码。
• transformer.py: 包含转换器模型的相关代码。

2. 项目的启动文件介绍

项目的启动文件主要有三个：inference.ipynb, inference_client.py 和 inference_client_webrtc.py。

• inference.ipynb: 使用Jupyter Notebook打开，可以直接在笔记本环境中运行代码块来生成对话音频。
• inference_client.py: 在命令行中运行此Python脚本，可以实时通过麦克风与模型对话。此脚本在实验阶段，主要在Ubuntu服务器上测试。
• inference_client_webrtc.py: 同样在命令行中运行，但是通过浏览器和WebRTC技术来实现客户端与模型的对话。需要安装requirements_webrtc.txt中列出的依赖项。

3. 项目的配置文件介绍

项目中的配置主要通过requirements.txt和requirements_webrtc.txt来管理。

• requirements.txt: 列出了项目运行所必需的Python包，可以通过pip install -r requirements.txt命令来安装这些依赖项。
• requirements_webrtc.txt: 列出了使用WebRTC功能所需额外安装的Python包，可以通过pip install -r requirements_webrtc.txt命令来安装。

在开始使用项目之前，确保正确安装了所有依赖项。如果需要使用CUDA 12.1，还需要安装特定版本的PyTorch。

hertz-dev first base model for full-duplex conversational audio 项目地址: https://gitcode.com/gh_mirrors/he/hertz-dev