SenseVoice&CosyVoice了解

链接整理

github：SenseVoice、CosyVoice、FunAudioLLM-APP

 魔搭：SenseVoice、CosyVoice、FunAudioLLM-APP
 

项目：SenseVoice

用途：SenseVoice是具有音频理解能力的音频基础模型，包括语音识别（ASR）、语种识别（LID）、语音情感识别（SER）和声学事件分类（AEC）或声学事件检测（AED）。本项目提供SenseVoice模型的介绍以及在多个任务测试集上的benchmark，以及体验模型所需的环境安装的与推理方式。

核心功能：

• 多语言识别： 采用超过40万小时数据训练，支持超过50种语言，识别效果上优于Whisper模型。

• 富文本识别：

• 具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。

• 支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。

• 高效推理： SenseVoice-Small模型采用非自回归端到端框架，推理延迟极低，10s音频推理仅耗时70ms，15倍优于Whisper-Large。

• 微调定制： 具备便捷的微调脚本与策略，方便用户根据业务场景修复长尾样本问题。

• 服务部署： 具有完整的服务部署链路，支持多并发请求，支持客户端语言有，python、c++、html、java与c#等。

SenseVoice部署

代码克隆下载

git clone --recursive https://github.com/FunAudioLLM/SenseVoice.git
git submodule update --init --recursive
pip install -r requirements.txt

推理模型下载

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('iic/SenseVoiceSmall')

#使用示例
from model import SenseVoiceSmall

m