SALMONN项目使用与启动教程

SALMONN项目使用与启动教程

SALMONN SALMONN: Speech Audio Language Music Open Neural Network 项目地址: https://gitcode.com/gh_mirrors/sal/SALMONN

1. 项目介绍

SALMONN（Speech Audio Language Music Open Neural Network）是一个由清华大学电子工程系与字节跳动联合开发的大型语言模型（LLM）。该项目旨在使模型能够理解和感知各种音频输入，包括语音、音频事件和音乐，从而赋予模型多语种语音识别、翻译以及音频-语音联合推理等新兴能力。简而言之，SALMONN为LLM增添了“耳朵”和认知听力能力，是迈向具有听力功能的人工通用智能的重要一步。

2. 项目快速启动

环境准备

• Python版本：3.9.17
• 安装依赖：使用以下命令安装所需的包

pip install -r requirements.txt

• 下载必要的预训练模型和数据：

  • Whisper large v2 模型
  • Fine-tuned BEATs_iter3+ (AS2M) 模型
  • vicuna 13B v1.1 模型

训练模型

在装有A100-SXM-80GB的机器上，使用以下命令开始训练：

python3 train.py --cfg-path configs/config.yaml

推理测试

下载SALMONN v1模型后，使用以下命令进行CLI推理：

python3 cli_inference.py --cfg-path configs/decode_config.yaml

启动Web演示

在装有A100-SXM-80GB的机器上，使用以下命令启动Web演示：

python3 web_demo.py --cfg-path configs/decode_config.yaml

3. 应用案例和最佳实践

SALMONN项目可以应用于多种音频处理任务，以下是一些典型的应用案例：

• 多语种语音识别与翻译
• 音频事件识别
• 音乐信息理解
• 语音增强与质量评估

最佳实践包括：

• 使用高质量、多样化的数据集进行训练
• 针对特定任务调整模型配置
• 优化模型性能以适应不同硬件环境

4. 典型生态项目

SALMONN作为开源项目，其生态系统包括：

• 数据处理和标注工具
• 模型训练和推理框架
• 社区驱动的扩展项目和插件

项目遵循Apache-2.0开源协议，鼓励社区成员贡献代码和想法，共同推进项目的发展。

SALMONN SALMONN: Speech Audio Language Music Open Neural Network 项目地址: https://gitcode.com/gh_mirrors/sal/SALMONN