音频转文本--我们选择faster-whisper

goggle1

已于 2024-04-03 16:46:11 修改

阅读量2.1k

点赞数 28

CC 4.0 BY-SA版权

文章标签：音视频 whisper

于 2024-04-02 18:29:23 首次发布

本文链接：https://blog.youkuaiyun.com/gogglex1/article/details/137281205

本文介绍了如何使用faster-whisper将视频文件中的音轨自动转成文字，包括安装Anaconda、创建Python3.10虚拟环境、安装Git、下载源码和模型（如VAD和faster-whisper），以及解决遇到的PyTorch版本问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

faster-whisper能用来做什么？

可以将视频文件中的音轨自动转换为文字。

所以，字幕组是要失业了么？

试试看吧，看看转化效果如何。

使用faster-whisper，最好选择python3.10版本，那好吧。

作者的系统环境是：

笔记本：ThindPad P520
OS：win11
显卡：Quadro P520

1、安装anaconda

为什么要安装anaconda？

因为我日常开发用python3.11的版本，使用YOLOv8需要python3.8的环境，这次使用faster-whisper需要python3.10的环境，需要切换python环境。

anaconda的安装和配置，请参考《 YOLOv8入门篇--YOLOv8的安装和使用》。

2、创建虚拟环境(指定python3.10）

查看已有的conda虚拟环境

切换到创建好的虚拟环境

conda create -n fwhisper python=3.10
conda env list
conda activate fwhisper

3、安装git命令行工具

下载地址： Git - Downloads

并配置代理

//http || https
git config --global http.proxy 127.0.0.1:7890
git config --global https.proxy 127.0.0.1:7890

4、下载源码faster-whisper-webui

git clone https://github.com/ycyy/faster-whisper-webui.git

进入源码目录：

cd faster-whisper-webui

安装项目依赖：

pip3 install -r requirements.txt

还要安装faster-whisper依赖：

pip3 install -r requirements-fasterWhisper.txt

5、模型的下载和配置

首先在项目的目录建立模型文件夹：

mkdir models

faster-whisper项目内部已经整合了VAD算法，VAD是一种音频活动检测的算法，它可以准确的把音频中的每一句话分离开来，并且让whisper更精准的定位语音开始和结束的位置。

所以，首先需要配置VAD模型：

git clone https://github.com/snakers4/silero-vad

然后，将克隆下来的vad模型放入刚刚建立的Models文件夹中即可。

接着下载faster-whisper模型，下载地址：

git clone https://huggingface.co/guillaumekln/faster-whisper-large-v2

这里建议只下载faster-whisper-large-v2模型，也就是大模型的第二版，因为faster-whisper本来就比whisper快，所以使用large模型优势就会更加的明显。

注意： 下载后的目录是 faster-whisper-large-v2，要分成两级目录： faster-whisper和large-v2。

模型放入models文件夹的faster-whisper目录，最终目录结构如下：

models
├─faster-whisper
│ ├─large-v2
└─silero-vad
  ├─examples
  │ ├─cpp
  │ ├─microphone_and_webRTC_integration
  │ └─pyaudio-streaming
  ├─files
  └─__pycache__

至此，模型就配置好了。

6、测试模型

回到项目根目录faster-whisper-webui下，

执行如下命令：

python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"

是不是碰到了如下错误？

安装一个合适的pytorch即可

访问： PyTorch

拷贝来自该网页的一个命令，并执行：

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意：要安装合适的版本，可以参考《 YOLOv8入门篇--YOLOv8的安装和使用》

再次执行测试命令：

python cli.py --model large-v2 --vad silero-vad --language Japanese "https://www.youtube.com/watch?v=4cICErqqRSM"

看到输出如下，成功了！

更高级的一些用法，可以阅读README.md。