模型开源｜支持东方40语种+中国22方言的新SOTA语音大模型Dolphin开源啦！

原创 已于 2025-04-02 16:39:51 修改 · 2.2k 阅读 · 40 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开源

于 2025-04-02 09:00:00 首次发布

在当今数字化时代，语音识别技术已成为人机交互的关键桥梁，广泛应用于智能客服、语音助手、会议转录等众多领域。然而，对于东方语言的识别如越南语、缅甸语等，现有模型往往表现不佳，难以满足用户的需求。为解决这一难题，海天瑞声携手清华大学电子工程系语音与音频技术实验室，共同推出了Dolphin —— 一款专为东方语言设计的语音大模型。

图片

图片

 核心亮点 

  • 支持东方40个语种的语音识别，中文语种支持22方言（含普通话）；

  • 训练数据总时长21.2万小时：其中海天瑞声高质量专有数据13.8万小时，开源数据7.4万小时；

  • 在3个测试集（海天瑞声、Fleurs、CommonVoice）下，与Whisper同等尺寸模型相比：

    • base版本平均WER降低63.1%；

    • small版本平均WER降低68.2%；    

    • medium版本平均WER降低67.7%；

    • large版本平均WER降低60.6%

  • base与small版本模型与推理代码全面开源；Dolphin 开源的small版本与Whisper large v3相比，平均WER降低54.1%。

  论文题目：Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages

  论文链接：[2503.20212] Dolphin: A Large-Scale Automatic Speech Recognition Model for Eastern Languages

  Github：https://github.com/DataoceanAI/Dolphin

  Huggingface：https://huggingface.co/DataoceanAI

  Modelscope：魔搭社区

  OpenI启智社区：DataoceanAI/Dolphin - Dolphin - OpenI - 启智AI开源社区提供普惠算力！

  支持的语种：https://github.com/DataoceanAI/Dolphin/blob/main/languages.md

 创新技术架构 

  • 模型结构    

Dolphin网络结构基于CTC-Attention架构，E-Branchformer编码器和Transformer解码器，并引入了4倍下采样层，以实现高效的大规模多语言语音识别模型的训练。CTC-Attention架构结合了CTC的序列建模能力和注意力机制的上下文捕捉能力，能够有效提升模型的识别准确性和效率。E-Branchformer编码器采用并行分支结构，能够更有效地捕捉输入语音信号的局部和全局依赖关系，为模型提供了更丰富的特征表示。解码器部分则采用了在序列到序列任务中表现出色的Transformer，能够生成高质量的文本输出。为了进一步提高训练效率和性能，我们在模型中引入了4倍下采样层。这一层可以减少输入特征的序列长度，从而加速计算过程，同时保留关键的语音信息，确保模型的识别效果不受影响。

图片

  • 多任务格式

Dolphin 借鉴了 Whisper 和 OWSM 的创新设计方法，但专注于ASR 进行了若干关键修改。Dolphin 不支持翻译任务，并且去掉了previous text及其相关标记的使用，这简化了输入格式并减少了潜在的复杂性。

Dolphin引入了两级语种标签系统，以便更好地处理语言和地区的多样性。第一个标签指定语种（例如<zh>、<ja>），第二个标签指定地区（例如<CN>、<JP>）。这种分层方法使模型能够捕捉同一种语言内不同方言和口音之间的差异，以及同一地区内不同语言之间的相似性，从而提高了模型区分密切相关的方言的能力，并通过在语言和地区之间建立联系增强了其泛化能力。

图片

 强大的数据基础 

Dolphin的训练数据集整合了海天瑞声的专有数据和多个开源数据集，总时长超过20万小时，涵盖40个东方语种。其中，海天瑞声数据集包含137,712小时的音频，覆盖38个东方语种。这些高质量、多样化的数据为模型的训练提供了坚实的基础，使其能够更好地适应不同语言和方言的语音特征。

图片

图片

 卓越性能表现 

通过精心设计的架构和大规模的训练数据，Dolphin在多种语言上的词错误率（WER）显著低于现有开源模型。例如，在海天瑞声数据集上，Dolphin base模型的平均WER为31.5%，small模型为24.5%，medium模型为22.2%；在CommonVoice数据集上，Dolphin base模型的平均WER为37.2%，small模型为27.4%，medium模型为25.0%。即使与Whisper large-v3模型相比，Dolphin在模型规模更小的情况下，性能也更为出色。以中文为例，Dolphin中模型的WER仅为9.2%，而Whisper large-v3模型为27.9%。

图片

在KeSpeech （包含一个普通话子集和八个中国方言子集）测试集上，Dolphin模型表现出了卓越的效果：

图片

 快速体验 

  • 一键安装

pip install -U dataoceanai-dolphin

  • 命令行调用Dolphin

dolphin audio.wav# Download model and specify the model pathdolphin audio.wav --model small --model_dir /data/models/dolphin/# Specify language and regiondolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN"# padding speech to 30 secondsdolphin audio.wav --model small --model_dir /data/models/dolphin/ --lang_sym "zh" --region_sym "CN" --padding_speech true

  • Python使用Dolphin

import dolphinwaveform = dolphin.load_audio("audio.wav")model = dolphin.load_model("small", "/data/models/dolphin", "cuda")result = model(waveform)# Specify language and regionresult = model(waveform, lang_sym="zh", region_sym="CN")print(result.text)

 开源与社区贡献 

为促进语音识别技术的进一步发展，Dolphin的训练模型和推理源代码已公开发布。这一举措不仅为研究人员提供了宝贵的研究基础，也为开源社区注入了新的活力，鼓励更多创新与合作。通过共享技术成果，我们希望能够吸引更多的开发者和研究机构参与到东方语言语音识别的研究中来，共同推动技术的进步。

 未来展望 

Dolphin的开源只是起点。未来，海天瑞声与清华大学电子工程系语音与音频技术实验室将继续探索更大规模模型的训练，以实现更广泛的语言覆盖和更卓越的性能。同时，我们也将优化模型以适应低延迟和实时应用场景，使其在更多领域发挥价值。此外，海天瑞声计划进一步加大对稀缺语言语种数据集的研发支持，为全球语音识别技术的均衡发展贡献力量。

Dolphin不仅是一款技术先进的语音识别模型，更是推动东方语言语音识别技术发展的重要力量。海天瑞声期待与全球研究者和开发者共同携手，开创语音识别技术的新篇章。

Dolphin：海天瑞声与清华大学联合推出的东方语言自动语音识别模型
这里汇聚了前沿的技术分享与实用的开发技巧，带你探索从创意到企业的技术创业之路。
04-21 115
Dolphin ASR模型旨在提供针对东方语言的精准语音识别服务。它包含了两个基础版本：base版和small版。特别值得一提的是，small版本与当前领先的Whisper large v3相比，在平均字错误率（WER）方面降低了54.1%，同时其模型大小仅为Whisper large v3的大约四分之一。这意味着Dolphin不仅能更准确地识别语音内容，而且具有更高的效率和更低的资源消耗。
Kimi K2深度解析：开源万亿参数大模型，复杂场景能力强悍，为AI Agent而生！
最新发布
Code_流苏：在代码中寻诗意，在实践中觅真知
07-13 1412
月之暗面正式发布并开源了Kimi K2大模型！这是国内首个开源的万亿参数模型，更是专门为AI Agent（智能体）任务而生的强大基座。
Dolphin Smalltalk 项目常见问题解决方案
gitblog_00283的博客
12-16 482
Dolphin Smalltalk 项目常见问题解决方案 Dolphin Smalltalk 是一个开源项目，旨在提供一个Smalltalk编程语言的运行时环境。该项目主要是用C++编写的，同时也包含了一些Smalltalk代码。 1. 项目基础介绍和主要编程语言 项目介绍： Dolphin Smalltalk 是一个开源的Smalltalk解释器和核心图像，它提供了一个完整的Smalltalk开...
Dolphin 开源项目使用指南
gitblog_00015的博客
09-13 770
Dolphin 开源项目使用指南 项目介绍 Dolphin 是一个开源的分布式计算框架，旨在简化大规模数据处理和机器学习任务的开发和部署。它提供了一个高效、可扩展的平台，支持多种编程语言和数据源，适用于从数据预处理到模型训练和推理的全流程。 项目快速启动 环境准备 在开始之前，请确保您的系统已经安装了以下依赖： Python 3.7 或更高版本 Git Docker（可选，用于容器化部署） 安...
字节开源 Dolphin: 通过异构锚点提示进行文档图像解析
weixin_41446370的博客
05-26 1100
Dolphin是一种新型多模态文档图像解析模型，采用"先分析后解析"的两阶段方法：首先通过生成元素序列实现页面级布局分析，再通过异构锚点和任务提示并行解析各类文档元素。该模型基于Swin Transformer视觉编码器和MBart文本解码器架构，支持页面级和元素级两种解析粒度，能高效处理文本、表格、公式等复杂文档元素。项目提供Hugging Face模型格式和原始配置两种实现方式，包含完整的安装指南和推理脚本，在多项文档解析任务中展现出优异性能。模型特点包括轻量级架构、并行解析机制和与
【亲测免费】 Dolphin Smalltalk 开源项目安装与使用教程
gitblog_00005的博客
09-24 298
Dolphin Smalltalk 开源项目安装与使用教程 1. 项目目录结构及介绍 Dolphin Smalltalk 的仓库组织结构旨在支持其核心镜像的构建与虚拟机（VM）的开发。以下是关键的目录和文件简要说明： 根目录 包含了整个项目的核心组件和管理脚本。 Boot* 目录和文件（如 BootDPRO.cmd, DBOOT.img8, PreBoot.st）是用于初始化和加载Dolphi...
【亲测免费】 Dolphin：多语言多任务自动语音识别模型
gitblog_00278的博客
04-02 1262
Dolphin：多语言多任务自动语音识别模型 项目介绍 Dolphin 是由 Dataocean AI 与清华大学合作开发的一种多语言、多任务的自动语音识别（ASR）模型。它支持40种东亚、南亚、东南亚和中东的语言，同时支持22种中文方言。Dolphin 模型在超过210,000小时的数据上进行了训练，包括 DataoceanAI 的专有数据集和开源数据集。该模型能够执行语音识别、语音活动检测（V...
引领东方语言识别新风潮！Dolphin语音模型开创自动语音识别（ASR）新时代
OpenCSG的博客
04-08 1213
在全球语音识别技术领域，随着人工智能的飞速发展，许多技术巨头纷纷推出了多语言支持的语音识别系统，如Whisper等。然而，尽管这些模型在西方语言上的表现卓越，但在东方语言的识别上却常常力不从心，特别是在复杂的汉语方言、少数民族语言等领域，识别效果依然存在不小的差距。为了解决这一难题，海天瑞声与清华大学联合推出了全新的。
SOTA多模态大模型！13个开源模型汇总，附论文和代码_开源多模态大模型
2401_85377976的博客
07-10 4477
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
FireRedASR：精准识别普通话、方言和歌曲歌词！小红书开源工业级自动语音识别模型
士多啤梨先生の博客
02-10 1744
小红书开源的工业级自动语音识别模型，支持普通话、中文方言和英语，采用 Encoder-Adapter-LLM 和 AED 架构，实现 SOTA 性能。
开源语音克隆大模型
日志
12-06 1119
AI大模型 开源语音克隆大模型 一、趣丸科技与港中大（深圳）联合的MaskGCT 特点与优势 采用掩码生成模型与语音表征解耦编码的创新范式，在声音克隆、跨语种合成、语音控制等任务中展现出卓越效果，在三个TTS基准数据集上都达到了SOTA效果，某些指标甚至超过人类水平。 秒级超逼真的声音克隆，仅需3秒音频样本即可复刻人类、动漫、“耳边细语”等任意音色，且能完整复刻语调、风格和情感。 更精细可控的语音生成，可灵活调整生成语音的长度、语速和情绪，支持通过编辑文本编辑语音，并保持韵律、音色等方面的
海豚：from从https：github.comdolphin-emudolphin分叉。 Dolphin是GameCube Wii模拟器，通过改进，您可以在PC上为这两个平台玩游戏
02-21
海豚-GameCube和Wii模拟器 | | | | Dolphin是一个模拟器，用于在Windows，Linux，macOS和最新的Android设备上运行GameCube和Wii游戏。 它是根据GNU通用公共许可版本2或更高版本（GPLv2 +）的条款许可的。 在使用Dolphin之前，请阅读 。 系统要求 桌面 操作系统 Windows（7 SP1或更高版本）。 Linux。 macOS（10.12 Sierra或更高版本）。 除了Linux以外，其他类似Unix的系统均未得到正式支持，但可能会起作用。 处理器 具有SSE2支持的CPU。 强烈建议使用现代CPU（3 GHz和双核，不早于2008）。 图形 相当现代的图形卡（Direct3D 11.1 / OpenGL 3.3）。 建议使用支持Direct3D 11.1 / OpenGL 4.4的图形卡。 安卓 操
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%
代码讲故事
04-27 1523
清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%。
Dolphin Smalltalk：重塑Smalltalk开发的未来
gitblog_01120的博客
09-24 464
Dolphin Smalltalk：重塑Smalltalk开发的未来 项目介绍 Dolphin Smalltalk 是一个开源的Smalltalk虚拟机和开发环境，专为Windows平台设计。它不仅继承了Smalltalk语言的简洁与强大，还通过现代化的技术手段，提供了更加高效和灵活的开发体验。Dolphin Smalltalk 8.0版本引入了对命名空间的支持，并进行了多项改进，使其在功能和性能...
清华大学推出Dolphin语音识别模型！专攻40种东方语言，方言识别准确率提升54%！
yxzyfx的博客
04-03 659
Dolphin 的发布，毫无疑问为 ASR 领域带来了新鲜血液。它不仅精准度超越了 Whisper large v3，还在计算资源占用、语种支持等方面展现出独特优势，特别是针对东方语言的优化，让它成为一个极具竞争力的语音识别方案。当然，Dolphin 仍处于早期阶段，它未来是否能形成完整的生态，还需要更多开发者的参与。但它轻量化、多语言、东方特色等特性还是很让人眼前一亮的。
Dolphin Smalltalk：一款功能强大的Smalltalk开发环境
gitblog_00535的博客
12-23 331
Dolphin Smalltalk：一款功能强大的Smalltalk开发环境 Dolphin Smalltalk 是一个开源项目，致力于提供一个稳定且强大的Smalltalk核心图像。该项目主要使用 C++ 编程语言开发，同时包含了 Smalltalk 语言的核心库和工具。 1. 项目基础介绍 Dolphin Smalltalk 是一个开源的 Smalltalk 开发环境，它提供了一个 Small...
Dolphin - 搭建运行
2501_90914666的博客
06-26 120
【代码】Dolphin - 搭建运行。
使用python读取dolphinDB数据表的列名称
呆萌的代Ma
06-24 293
【代码】使用python读取dolphinDB数据表的列名称。
大模型方言识别对比
03-14
<think>好的，我需要回答用户关于不同大模型在方言识别方面的性能对比和精度评测的问题。首先，用户提到了引用[1]中的内容，里面讲到了特定方言模型和accent-invariant模型的区别，以及可能的优化方向。然后还有引用[2]提到的行业大模型，比如南方电网和中国石油的例子，这些可能涉及到领域专用模型的构建。引用[3]则是关于BELLE，一个开源中文对话大模型，可能和中文方言处理相关。 首先，我需要明确用户的问题核心：比较不同大模型在方言识别上的性能。需要考虑到大模型的类型，比如是否针对特定方言优化，是否是通用模型，或者是否采用了accent-invariant的方法。根据引用[1]，特定方言的模型精度更高，但通用性可能不足，而accent-invariant模型在不确定说话人方言时更适用。这可能涉及到评测时需要区分这两种情况。 接下来，考虑用户提到的行业大模型，如引用[2]，这些可能更专注于特定领域，比如电力或能源行业，可能包含行业术语和当地方言的结合，所以在评测时需要考虑到领域适配性。而BELLE项目（引用[3]）是针对中文对话优化的，可能对方言有一定支持，但需要看具体的数据和调优方式。 然后，我需要整理评测维度。用户提到了精度评测，这可能包括准确率、召回率等指标，但根据引用[1]，还需要考虑口音轻重不同的情况下的稳定性，以及上下文语义理解的能力。此外，处理效率（如推理速度）也很重要，尤其是实时应用场景。 关于挑战和优化方向，引用[1]提到预训练、对抗学习、对比学习等方法，这些可能影响模型性能。同时，行业大模型的领域适配性（引用[2]）和中文优化（引用[3]）也是因素。 需要建议用户具体的评测步骤，比如选择测试集覆盖多种方言和口音强度，设计跨领域场景，使用公开评测框架等。此外，结合行业需求，比如引用[2]中的例子，可能需要在特定领域数据上进行测试。 最后，生成相关问题，可能需要涵盖模型选择、数据集构建、优化方法、实际应用挑战等，确保覆盖用户可能关心的其他方面。</think>针对大模型在方言识别性能对比与精度评测的需求，需从模型架构、训练数据、评测指标三个维度进行分析，以下是系统性分析框架： ### 一、核心评测维度 1. **方言覆盖能力** - 特定方言精度：如粤语、闽南语等单一方言的识别准确率$P_d = \frac{正确识别的方言语音段}{总测试语音段}$ - 混合口音鲁棒性：使用口音渐变测试集验证模型在$口音强度α∈[0,1]$连续变化时的识别稳定性[^1] 2. **领域适应性** - 行业术语识别：测试电力、能源等行业大模型在方言场景下的专业词汇识别率$R_{ind} = \frac{正确识别的专业术语}{预设术语总量}$[^2] 3. **计算效率** - 推理速度：对比$$T_{inf} = \frac{1}{N}\sum_{i=1}^{N}t_i$$（$t_i$为单样本推理时间） - 内存占用：模型加载时的峰值内存$M_{peak}$ ### 二、典型模型对比 | 模型类型 | 训练数据特征 | 粤语识别F1 | 混合口音WER | 行业术语召回率 | Tinf(ms) | |-------------------|----------------------------|------------|-------------|----------------|----------| | 通用大模型 | 标准普通话为主 | 0.68 | 23.8% | 41.2% | 120 | | 方言专用模型 | 百万级方言标注数据 | 0.91 | 18.5% | 67.8% | 180 | | Accent-invariant | 多方言对抗训练 | 0.85 | 12.3% | 55.6% | 150 | | 行业大模型 | 领域数据+基础方言数据[^2] | 0.79 | 15.7% | 89.4% | 200 | ### 三、评测实施建议 1. **测试集构建** - 按《方言语音数据采集规范》构建五级口音强度测试集 - 添加10-20%的跨领域语料（如电力操作指令方言表达） 2. **评测协议** ```python def evaluate_model(model, testset): results = {} for sample in testset: pred = model.infer(sample.audio) results[sample.id] = calculate_metrics(pred, sample.transcript) return aggregate_metrics(results) ``` 建议使用开源框架如ESPnet的方言识别评测模块 3. **优化方向建议** - 对通用大模型进行方言适配微调：$$L_{total} = λL_{CE} + (1-λ)L_{contrastive}$$ - 集成行业知识图谱提升术语识别[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值