Whisper-Finetune 项目使用教程

Whisper-Finetune 项目使用教程

Whisper-Finetune Fine-tune the Whisper speech recognition model to support training without timestamp data, training with timestamp data, and training without speech data. Accelerate inference and support Web deployment, Windows desktop deployment, and Android deployment 项目地址: https://gitcode.com/gh_mirrors/whi/Whisper-Finetune

1. 项目介绍

Whisper-Finetune 是一个基于 OpenAI 的 Whisper 语音识别模型的微调项目。该项目旨在通过 Lora 技术对 Whisper 模型进行微调，支持无时间戳数据训练、有时间戳数据训练以及无语音数据训练。此外，项目还支持加速推理和多种部署方式，包括 Web 部署、Windows 桌面部署和 Android 部署。

2. 项目快速启动

2.1 环境准备

首先，确保你已经安装了 Anaconda 和 Python 3.10。然后，安装 Pytorch 2.1.0 GPU 版本。以下是使用 Anaconda 安装 Pytorch 的命令：

conda install pytorch==2.1.0 torchvision==0.14.1 torchaudio==2.1.0 pytorch-cuda=11.6 -c pytorch -c nvidia

2.2 克隆项目

使用 Git 克隆项目到本地：

git clone https://github.com/shuaijiang/Whisper-Finetune.git
cd Whisper-Finetune

2.3 安装依赖

安装项目所需的依赖库：

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

2.4 准备数据

准备训练数据集。项目提供了一个制作 AIShell 数据集的程序 aishell.py，执行该程序可以自动下载并生成训练集和测试集。

python aishell.py

2.5 微调模型

使用以下命令进行单卡训练：

CUDA_VISIBLE_DEVICES=0 python finetune.py --base_model=openai/whisper-tiny --output_dir=output/

3. 应用案例和最佳实践

3.1 语音识别

Whisper-Finetune 可以用于各种语音识别任务，包括但不限于：

• 实时语音转文字
• 语音命令识别
• 语音翻译

3.2 最佳实践

• 数据准备：确保数据集的质量和多样性，以提高模型的泛化能力。
• 模型选择：根据任务需求选择合适的 Whisper 模型进行微调。
• 多卡训练：使用多卡训练可以显著提高训练速度和效率。

4. 典型生态项目

4.1 CTranslate2

CTranslate2 是一个用于加速 Transformer 模型推理的工具，Whisper-Finetune 支持将模型转换为 CTranslate2 格式，以提高推理速度。

4.2 GGML

GGML 是一个用于在移动设备和嵌入式系统上运行机器学习模型的库，Whisper-Finetune 支持将模型转换为 GGML 格式，以便在 Android 和 Windows 桌面应用中使用。

4.3 Hugging Face Transformers

Hugging Face Transformers 是一个广泛使用的自然语言处理库，Whisper-Finetune 可以直接使用 Hugging Face 提供的 Whisper 模型进行微调。

通过以上步骤，你可以快速上手 Whisper-Finetune 项目，并将其应用于各种语音识别任务中。

Whisper-Finetune Fine-tune the Whisper speech recognition model to support training without timestamp data, training with timestamp data, and training without speech data. Accelerate inference and support Web deployment, Windows desktop deployment, and Android deployment 项目地址: https://gitcode.com/gh_mirrors/whi/Whisper-Finetune