2025_NIPS_Textually Pretrained Speech Language Models

文章总结与翻译

一、主要内容

本文聚焦语音语言模型（SpeechLMs）的优化，核心解决传统SpeechLMs因训练数据有限、初始化方式单一导致的性能瓶颈问题。文章提出TWIST方法，即基于预训练文本语言模型（LM）进行热启动初始化来训练SpeechLMs，通过将文本LM的权重迁移适配到语音任务中，实现了性能的全面提升。

研究过程中，作者进行了多维度实证分析：探究了语音分词器、预训练文本模型选型、数据集规模等设计选择对模型性能的影响，发现模型参数规模与训练数据量均是提升SpeechLMs性能的关键因素；基于此训练出当时规模最大（130亿参数、约15万小时训练语音数据）的SpeechLMs；同时构建了两个口语化版本的StoryCloze基准测试集（SSTORYCLOZE和TSTORYCLOZE），分别用于评估模型对细粒度时序常识关系和粗粒度全局句子连贯性的捕捉能力。

实验结果表明，TWIST方法在自动评估（如sWUGGY、sBLIMP指标）和人类评估（如Meaningfulness MOS）中均优于冷启动（随机初始化）的SpeechLMs，且收敛速度更快、数据利用效率更高；大规模模型（TWIST-7B/13B）在各项任务中持续表现出性能优势，但SpeechLMs在捕捉因果时序常识关系方面仍与人类表现存在较大差距。

二、创新点

1. 提出TWIST方法：首次将预训练文本LM用于SpeechLMs的初始化，通过替换词汇表、重新初始化语音嵌入层并继续训练，实现跨模态知识迁移，为SpeechLMs提供高效的训练起点。
2. 系统性实证分析：全面探究了语音分词器特