语音识别技术之FireRedASR

原创已于 2025-10-22 17:37:03 修改 · 1k 阅读

18 ·

CC 4.0 BY-SA版权

文章标签：

#语音识别 #人工智能

于 2025-10-22 17:35:19 首次发布

音频AI 专栏收录该内容

8 篇文章

订阅专栏

FireRedASR

https://github.com/FireRedTeam/FireRedASR/

凭借最精确的CER指标、创新的Encoder-Adapter-LLM架构及优异的多源场景鲁棒性，FireRedASR-LLM-L确立了2025年中文ASR领域的新标杆。未来将进一步拓展多语种支持、优化长序列处理，并探索语音-视觉多模态交互应用。

项目：

FireRedASR-LLM 采用Encoder-Adapter-LLM架构，参数量8.3B，在多源、多场景（视频、直播、智能助手）均实现24%–40%相对CER下降，兼顾高精度与通用性。适用于对准确率要求极高且可投入计算资源的本地部署场景。model.aibase+2

FireRedASR-AED 基于Attention-AED架构，参数量1.1B，CER仅次于LLM版本，但显著降低计算开销。适合资源受限环境或作为语音表示模块嵌入更大系统。

必要硬件条件

GPU显存：单卡建议≥32GB，主流建议48GB（如A40、RTX A6000、RTX 6000 Ada）；社区反馈24GB单卡常见 OOM，不建议稳定生产。
GPU推荐型号：A40（数据中心/机架）、RTX 6000 Ada（工作站）、A100/A800 80GB（重型多路推理）、A6000（性价比兼容），高并发/长序列需求时优先更大显存和带宽。
CPU/内存：至少8-16核CPU，≥128GB RAM，多线程推理与音频处理建议更高配置。
存储：固态SSD建议≥1TB（模型权重、音频素材与缓存），系统磁盘需预留空间以防大模型权重多版本并存。
操作系统：Linux（Ubuntu 20.04+最佳），支持Python 3.10以上，依赖ffmpeg音频处理。
音频接口：输入16kHz单通道PCM格式最佳，建议CPU或GPU解码硬件直连。

模型CER对比

FireRedASR-LLM-L（8.3B参数）在四项公开普通话基准上取得平均字符错误率（CER）3.05%，相较Seed-ASR的3.33%实现8.4%相对CER减少

模型	参数量	aishell1	aishell2	ws_net	ws_meeting	平均CER
FireRedASR-LLM-L	8.3B	0.76	2.15	4.60	4.67	3.05
Seed-ASR	12B+	0.68	2.27	4.66	5.69	3.33
SenseVoice-L	1.6B	2.09	3.04	6.01	6.73	4.47
Qwen-Audio	8.4B	1.30	3.10	9.50	10.87	6.19
Whisper-Large-v3	1.6B	5.14	4.96	10.48	18.87	9.86
Paraformer-Large	0.2B	1.68	2.85	6.74	6.97	4.56

“参数量” 就是模型的总可训练参数数目，用于衡量模型规模；

“aishell1”和“aishell2” 是两个公开的普通话语音识别基准测试集，分别包含大约170小时（Aishell-1）和1 000小时（Aishell-2）的标注语音，用于评估模型在标准普通话条件下的识别准确度；

“ws_net”和“ws_meeting” 则来自WenetSpeech数据集的两个子集：“Net” 包含网络广播和网络视频中的普通话语音样本，

“Meeting” 包含多方会议场景下的普通话对话录音，用于测试模型在在线流媒体和会议环境下的鲁棒性。

FireRedASR-LLM-L 架构

FireRedASR-LLM-L采用编码器-适配器-LLM框架：

Conformer编码器：初始化自FireRedASR-AED大模型，进行80维Fbank特征下采样与序列建模。
轻量适配器：Linear-ReLU-Linear结构，将40ms帧间隔进一步拼接为80ms，并投影至LLM语义空间。
预训练LLM：基于Qwen2-7B-Instruct，通过LoRA对少数参数微调，实现prompt+语音嵌入的高效融合与端到端生成。

该机制通过最小化对LLM权重的改动，实现了高精度与高效训练的平衡。

总结：

LLM版本通过嵌入Qwen2-7B-Instruct模型，进行ASR转录后的文本进行上下文纠正大幅度提升了转录质量cer。
由于机器限制，实验主要用于AED，因为核心思想是一致，我们把转录的文本输出给qwen3/chatgpt来帮我们整理文本即可。

FireRedASR-AED-L环境配置

项目环境配置

git clone https://github.com/FireRedTeam/FireRedASR.git
conda create --name fireredasr python=3.10
conda activate fireredasr
pip install -r requirements.txt

export PATH=$PWD/fireredasr/:$PWD/fireredasr/utils/:$PATH
export PYTHONPATH=$PWD/:$PYTHONPATH

FireRedTeam/FireRedASR-AED-L模型下载

git lfs install
git clone https://www.modelscope.cn/FireRedTeam/FireRedASR-AED-L.git

使用

speech2text.py --wav_path /home/jbj/openai/modle/FireRedASR-AED-L/FireRedASR/examples/wav/out6.wav --asr_type "aed" --model_dir /home/jbj/openai/modle/FireRedASR-AED-L --use_gpu 0

在线测试音频

qwen3-asr-flash

https://qwen3-asr-studio.pages.dev/

FireRedASR-LLM

https://huggingface.co/spaces/FireRedTeam/FireRedASR

输出对比

https://textcompare.it.com/zh

可以看出，音频质量良好前提下，能够与qwen3ASR媲美。

参考资料

火红队 --- FireRedTeam (FireRedTeam)

火红 ASR --- FireRedASR

FireRedTeam/FireRedASR-LLM-L · Hugging Face

FireRedASR-LLM-L · 模型库

https://help.aliyun.com/zh/model-studio/qwen-speech-recognition?spm=a2c4g.11186623.help-menu-2400256.d_0_3_2.2a626743YIFqFI

学习社区
https://github.com/0voice