Distil-Whisper: 高效语音识别模型的安装与使用教程

最新推荐文章于 2025-05-09 14:52:20 发布

赖玫敏

最新推荐文章于 2025-05-09 14:52:20 发布

阅读量982

点赞数 15

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/gitblog_02655/article/details/144422350

Distil-Whisper: 高效语音识别模型的安装与使用教程

distil-medium.en 项目地址: https://gitcode.com/mirrors/distil-whisper/distil-medium.en

引言

在当今的语音识别领域，模型的性能和效率是开发者关注的重点。Distil-Whisper 是一个经过蒸馏的 Whisper 模型，它不仅在速度上提升了 6 倍，模型大小减少了 49%，而且在准确性上仅比原模型降低了 1% 的词错误率（WER）。这使得 Distil-Whisper 成为处理大规模语音识别任务的理想选择。本文将详细介绍如何安装和使用 Distil-Whisper 模型，帮助开发者快速上手并应用于实际项目中。

主体

安装前准备

系统和硬件要求

在开始安装之前，确保你的系统满足以下要求：

操作系统：支持 Linux、macOS 和 Windows。
硬件：建议使用支持 CUDA 的 GPU 以获得最佳性能。如果没有 GPU，也可以使用 CPU，但速度会较慢。

必备软件和依赖项

在安装 Distil-Whisper 之前，你需要确保系统中已经安装了以下软件和依赖项：

Python 3.8 或更高版本
pip（Python 包管理工具）
Git（用于下载模型和代码）

安装步骤

下载模型资源

首先，你需要从指定的仓库下载 Distil-Whisper 模型。你可以通过以下命令下载模型资源：

pip install --upgrade pip
pip install --upgrade transformers accelerate datasets[audio]

安装过程详解

安装 Transformers 库：Distil-Whisper 依赖于 Hugging Face 的 Transformers 库。你可以通过以下命令安装最新版本的 Transformers 库：
```
pip install --upgrade transformers
```
安装其他依赖项：为了加载音频数据集，你还需要安装 datasets 库：
```
pip install datasets[audio]
```

下载 Distil-Whisper 模型：你可以通过以下命令从 Hugging Face 模型库中下载 Distil-Whisper 模型：

from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor

model_id = "distil-whisper/distil-medium.en"
model = AutoModelForSpeechSeq2Seq.from_pretrained(model_id)
processor = AutoProcessor.from_pretrained(model_id)

常见问题及解决

问题：安装过程中出现依赖项冲突。
- 解决方法：确保所有依赖项的版本兼容，必要时可以手动指定版本号。
问题：模型加载速度过慢。
- 解决方法：使用 GPU 加速，并确保安装了 CUDA 和 cuDNN。

基本使用方法

加载模型

在安装完成后，你可以通过以下代码加载 Distil-Whisper 模型：

import torch
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline

device = "cuda:0" if torch.cuda.is_available() else "cpu"
torch_dtype = torch.float16 if torch.cuda.is_available() else torch.float32

model_id = "distil-whisper/distil-medium.en"

model = AutoModelForSpeechSeq2Seq.from_pretrained(
    model_id, torch_dtype=torch_dtype, low_cpu_mem_usage=True, use_safetensors=True
)
model.to(device)

processor = AutoProcessor.from_pretrained(model_id)

简单示例演示

以下是一个简单的示例，展示如何使用 Distil-Whisper 进行短音频文件的转录：

from datasets import load_dataset

pipe = pipeline(
    "automatic-speech-recognition",
    model=model,
    tokenizer=processor.tokenizer,
    feature_extractor=processor.feature_extractor,
    max_new_tokens=128,
    torch_dtype=torch_dtype,
    device=device,
)

dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
sample = dataset[0]["audio"]

result = pipe(sample)
print(result["text"])