CrisperWhisper 使用教程

CrisperWhisper 使用教程

CrisperWhisper Verbatim Automatic Speech Recognition with improved word-level timestamps and filler detection 项目地址: https://gitcode.com/gh_mirrors/cr/CrisperWhisper

1. 项目介绍

CrisperWhisper 是一个基于 OpenAI Whisper 的开源项目，由 nyrahealth 组织开发。它旨在提供一种快速、精确且逐字逐句的语音识别方法，能够准确记录包括停顿、犹豫和口吃在内的所有细节。与 Whisper 相比，CrisperWhisper 能够更完整地转录语音，包括各种填充词（如 "um" 和 "uh"）。

2. 项目快速启动

以下是快速启动 CrisperWhisper 的步骤：

环境准备

• Python 3.10
• PyTorch 2.0
• NVIDIA 库：cuBLAS 11.x 和 cuDNN 8.x（针对 GPU 执行）

克隆仓库

git clone https://github.com/nyrahealth/CrisperWhisper.git
cd CrisperWhisper

创建 Python 环境

conda create --name crisperWhisper python=3.10
conda activate crisperWhisper

安装依赖

pip install -r requirements.txt

额外安装

遵循 OpenAI 的说明来安装额外的依赖，如 ffmpeg 和 rust。

安装自定义的 transformers fork

为了获得最准确的时标，首先安装我们的自定义 transformers fork：

pip install git+https://github.com/nyrahealth/transformers.git@crisper_whisper

使用 🤗 transformers

确保您有一个 huggingface 账户并接受模型的许可。获取您的 huggingface 访问令牌并登录，以确保您可以下载模型。

huggingface-cli login

import os
import sys
import torch
from datasets import load_dataset
from transformers import AutoModelForSpeechSeq2Seq, AutoProcessor, pipeline
from utils import adjust_pauses

3. 应用案例和最佳实践

CrisperWhisper 可以用于多种场景，例如：

• 转录会议记录
• 转录访谈内容
• 语音到文本的实时转换

最佳实践

• 确保音频质量良好，减少背景噪音
• 使用适当的预处理步骤，如调整音频的采样率
• 对于长音频，可以分块处理以提高效率

4. 典型生态项目

CrisperWhisper 可以与其他开源项目配合使用，例如：

• 使用 Django 或 Flask 创建一个 Web 应用，集成 CrisperWhisper 进行语音识别
• 结合 Jupyter Notebook 进行数据分析和可视化
• 集成到智能家居系统中，实现语音控制功能

以上是 CrisperWhisper 的基本使用教程，希望对您有所帮助。

CrisperWhisper Verbatim Automatic Speech Recognition with improved word-level timestamps and filler detection 项目地址: https://gitcode.com/gh_mirrors/cr/CrisperWhisper