Facebook mms ASR 实践

ToTensor

已于 2024-03-03 18:36:54 修改

阅读量792

点赞数 8

文章标签： asr 深度学习

于 2024-03-03 18:36:17 首次发布

本文链接：https://blog.youkuaiyun.com/qq_44193969/article/details/136435552

版权

本文介绍了Facebook的MMS项目，一个支持超过1100种语言的多语言语音识别模型，以及如何在Python中实现其本地推理。作者分享了代码示例，包括加载模型、设置语言和进行ASR推理的过程，同时提到了存在的文档缺乏问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前言

先来看看mms（Massively Multilingual Speech）的介绍吧

大规模多语言语音(MMS)项目通过建立一个支持超过1100种语言的单一多语言语音识别模型(比以前多10倍)，能够识别超过4000种语言的语言识别模型(比以前多40倍)，支持超过1400种语言的预训练模型，以及超过1100种语言的文本到语音模型，将语音技术从大约100种语言扩展到超过1000种。我们的目标是使人们更容易以他们喜欢的语言访问信息和使用设备。

ASR支持4000多种语言，确实变态哈

支持的语言：https://dl.fbaipublicfiles.com/mms/misc/language_coverage_mms.html

模型路径：https://huggingface.co/facebook/mms-1b-all

虽然支持的语言多，但是这玩意文档是真少啊，想本地推理我都找了半天，太费劲了，所以写下这篇文章，帮助后面想尝试mms的同学节省的时间，话不多说，上代码

推理

import librosa
import torch
import json
from loguru import logger
from transformers import Wav2Vec2ForCTC, AutoProcessor


from common.error import ErrorCode

class MMSASRService:
    def __init__(self, config, options):
        self.asr_sampling_rate = 16_000
        self.model_path = "./data/models/mms-1b-all"
        # set device
        if torch.cuda.is_available():
            self.device = torch.device("cuda")
        else:
            self.device = torch.device("cpu")


    def load(self):
        logger.info("加载mms asr模型")
        self.processor = AutoProcessor.from_pretrained(self.model_path)
        self.model = Wav2Vec2ForCTC.from_pretrained(self.model_path)        


    def get_asr_result(self, audio_fp, lang_code="cmn-script_simplified"):
        
        try:
            audio_samples = librosa.load(audio_fp, sr=self.asr_sampling_rate, mono=True)[0]

            logger.info(f"load