2025_NIPS_FastLongSpeech: Enhancing Large Speech-Language Models for Efficient Long-Speech Processin

文章主要内容总结

该研究针对大型语音语言模型（LSLMs）在长语音处理中存在的训练数据稀缺、计算成本高两大核心挑战，提出了名为FastLongSpeech的新型框架，无需专用长语音训练数据即可扩展LSLMs的长语音处理能力。

核心内容包括：

1. 技术框架：基于Qwen2-Audio构建，新增语音提取器模块，通过迭代融合策略将过长的语音序列压缩为可处理长度，同时保留关键时间信息和低冗余度。
2. 训练方法：采用两阶段训练：第一阶段通过CTC损失训练提取器，学习语音内容密度量化；第二阶段提出动态压缩训练，利用短语音数据动态调整压缩比，实现短语音能力向长语音任务的迁移。
3. 评估基准：构建LongSpeech-Eval基准数据集，基于LongBench的MultiFieldQA-En和NarrativeQA子集转换生成，包含164个样本（平均时长132.77秒，最长1000秒），用于评估长语音理解能力。
4. 实验验证：在短语音QA、长语音QA、ASR、情感识别等多任务中验证，FastLongSpeech在保持性能的同时，显著降低计算成本（长语音任务中 runtim