PhoWhisper：越南语自动语音识别的强大工具-优快云博客

本文链接：https://blog.youkuaiyun.com/gitblog_00566/article/details/146803393

PhoWhisper：越南语自动语音识别的强大工具

PhoWhisper PhoWhisper: Automatic Speech Recognition for Vietnamese (2024) 项目地址: https://gitcode.com/gh_mirrors/ph/PhoWhisper

项目介绍

PhoWhisper是一款针对越南语设计的自动语音识别（Automatic Speech Recognition，简称ASR）开源项目。它通过精细调整多语言Whisper模型，在包含多种越南口音的844小时数据集上训练，达到了卓越的性能表现。PhoWhisper不仅在技术层面上取得了显著成果，而且已经在多个越南语ASR数据集上的基准测试中展现了其领先的技术水平。

项目技术分析

PhoWhisper的核心是基于Whisper模型进行的深度定制和优化。Whisper模型是由OpenAI开发的多语言自动语音识别模型，以其强大的性能和灵活性而闻名。PhoWhisper通过以下技术手段实现了对Whisper模型的优化：

数据集的多样性：项目使用了包含多种越南口音的844小时数据集，确保了模型在不同环境下的鲁棒性。
精细调校：通过对Whisper模型进行精细调校，PhoWhisper能够更好地适应越南语的特点。
多种模型版本：PhoWhisper提供了从tiny到large的多种版本，以满足不同场景下对性能和资源的需求。

项目及技术应用场景

PhoWhisper的应用场景广泛，以下是一些典型的应用案例：

语音助手：集成PhoWhisper的语音助手可以更好地理解和响应越南语用户的需求。
实时翻译：在跨国交流中，PhoWhisper可以帮助实现越南语与其他语言的实时翻译。
语音转文字：在会议记录、字幕制作等领域，PhoWhisper可以将越南语语音转换为准确无误的文字。

项目特点

1. 多版本支持

PhoWhisper提供了不同规模的模型，以满足不同场景下的需求。以下是各个版本的简要描述：

vinai/PhoWhisper-tiny：轻量级模型，适用于资源受限的环境。
vinai/PhoWhisper-base：基础模型，平衡了性能和资源消耗。
vinai/PhoWhisper-small：中等规模模型，提供了更高的性能。
vinai/PhoWhisper-medium：较大规模模型，适用于需要高精度的场景。
vinai/PhoWhisper-large：最大规模模型，提供了最高的识别精度。

2. 优异的性能

在多个越南语ASR数据集上的基准测试中，PhoWhisper展现出了卓越的性能。以下是一些性能指标：

| 模型 | 参数量 | CMV–Vi | VIVOS | VLSP 2020 Task-1 | VLSP 2020 Task-2 | |---|---|---|---|---|---| | vinai/PhoWhisper-tiny | 39M | 19.05 | 10.41 | 20.74 | 49.85 | | vinai/PhoWhisper-base | 74M | 16.19 | 8.46 | 19.70 | 43.01 | | vinai/PhoWhisper-small | 244M | 11.08 | 6.33 | 15.93 | 32.96 | | vinai/PhoWhisper-medium | 769M | 8.27 | 4.97 | 14.12 | 26.85 | | vinai/PhoWhisper-large | 1.55B | 8.14 | 4.67 | 13.75 | 26.68 |

3. 易于部署和使用

PhoWhisper的部署和使用非常简单。以下是一个使用transformers库调用PhoWhisper模型的基本示例：

from transformers import pipeline
transcriber = pipeline("automatic-speech-recognition", model="vinai/PhoWhisper-small")
output = transcriber(path_to_audio_with_sampling_rate_16kHz)['text']