2025_NIPS_HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models

文章主要内容与创新点总结

一、主要内容

1. 研究背景：现有自动语音识别（ASR）系统在干净语音数据集上已接近人类水平，但在背景噪音、口音差异等复杂场景下性能显著下降。传统ASR依赖语言模型（LM）重排N-best假设列表，仅选择单个最优候选作为输出，浪费了其他假设中包含的正确词汇信息。
2. 核心方案：提出首个开源基准测试框架HyPoradise，利用大型语言模型（LLMs）对ASR的N-best假设进行生成式纠错，直接预测真实转录结果（而非从候选中选择）。
3. 数据集构建：创建HyPoradise（HP）数据集，包含来自9个主流ASR语料库的33.4万+条N-best假设-真实转录配对数据，覆盖有声读物、噪声环境、电话对话、带口音语音等多种场景。
4. 技术方法：针对不同数据资源场景设计三种纠错技术：
   • 零样本/少样本学习：基于任务激活提示（TAP）的上下文学习，无需参数微调；
   • 微调场景：提出H2T-ft（全参数微调）和H2T-LoRA（低秩适配微调）两种序列到序列训练方案。
5. 实验结果：
   • 微调场景下，H2T-LoRA在ATIS和WSJ数据集上分别实现77.1%和55.1%的相对词错误率（WER）降低，性能超越传统重排方法的理论上限；
   • 上下文学习可有效缓解领域迁移问题，LLMs能纠正N-best列表