Dolphin：多语言多任务自动语音识别模型

Dolphin：多语言多任务自动语音识别模型

Dolphin Dolphin is a multilingual, multitask ASR model jointly trained by DataoceanAI and Tsinghua University. 项目地址: https://gitcode.com/gh_mirrors/dolphin22/Dolphin

项目介绍

Dolphin 是由 Dataocean AI 与清华大学合作开发的一种多语言、多任务的自动语音识别（ASR）模型。它支持40种东亚、南亚、东南亚和中东的语言，同时支持22种中文方言。Dolphin 模型在超过210,000小时的数据上进行了训练，包括 DataoceanAI 的专有数据集和开源数据集。该模型能够执行语音识别、语音活动检测（VAD）、语音分段和语言识别（LID）等多种任务。

项目技术分析

Dolphin 模型在很大程度上采用了 Whisper 和 OWSM 的创新设计方法。它采用了一个联合的 CTC-Attention 架构，其中编码器基于 E-Branchformer，解码器基于标准的 Transformer。针对自动语音识别的特定需求，Dolphin 进行了一些关键性的修改，包括不支持翻译任务，以及消除前文文本及其相关标记的使用。

Dolphin 的一个重要增强是引入了一个双层语言标记系统，以更好地处理语言和地区的多样性，特别是在 Dataocean AI 数据集中。第一层标记指定语言（如 <zh>，<ja>），而第二层标记指示地区（如 <CN>，<JP>）。更多细节请参考 论文。

项目及技术应用场景

Dolphin 的设计使得它在多种场景下都能发挥重要作用，尤其是在多语言环境中。以下是几个典型的应用场景：

1. 跨语言语音识别：在全球化的今天，跨语言交流的需求日益增加，Dolphin 能够帮助企业和机构打破语言障碍，实现自动化的语音识别。

2. 方言识别：中国有丰富的方言资源，Dolphin 支持的22种中文方言使其在方言识别方面具有独特的优势。

3. 语音分析和处理：在语音数据挖掘、情感分析、语音分段等领域，Dolphin 提供了强大的工具。

4. 教育和辅助：Dolphin 可以作为语言学习工具，帮助学习者通过自动语音识别获得即时的反馈和指导。

项目特点

• 多语言支持：覆盖东亚、南亚、东南亚和中东的40种语言，以及22种中文方言。
• 强大的模型架构：采用 E-Branchformer 编码器和标准 Transformer 解码器的联合 CTC-Attention 架构。
• 双层语言标记系统：有效处理语言和地区的多样性。
• 易于部署和使用：提供简洁的命令行和 Python 接口，方便用户快速集成和使用。

安装和部署

Dolphin 需要 FFmpeg 转换音频文件至 WAV 格式。安装 FFmpeg 的命令如下：

# Ubuntu 或 Debian
sudo apt update && sudo apt install ffmpeg

# MacOS
brew install ffmpeg

# Windows
choco install ffmpeg

可以使用以下命令安装 Dolphin 的最新版本：

pip install -U dataoceanai-dolphin

或者从源代码安装：

pip install git+https://github.com/SpeechOceanTech/Dolphin.git 

使用示例

以下是命令行和 Python 接口的使用示例：

命令行使用

dolphin audio.wav

# 下载模型并指定模型路径
dolphin audio.wav --model small --model_dir /data/models/dolphin/

# 指定语言和地区
dolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN"

# 将语音填充至30秒
dolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN" --padding_speech true

Python 使用

import dolphin

waveform = dolphin.load_audio("audio.wav")
model = dolphin.load_model("small", "/data/models/dolphin", "cuda")
result = model(waveform)
# 指定语言和地区
result = model(waveform, lang_sym="zh", region_sym="CN")
print(result.text)

Dolphin 模型的代码和模型权重遵循 Apache 2.0 许可证，开源社区和用户可以自由使用和修改。通过引入 Dolphin，我们不仅推动了语音识别技术的发展，也为多语言环境下的自动化语音处理提供了强大的工具。

Dolphin Dolphin is a multilingual, multitask ASR model jointly trained by DataoceanAI and Tsinghua University. 项目地址: https://gitcode.com/gh_mirrors/dolphin22/Dolphin