开源端到端语音大模型：直接从原始音频输入，生成语音输出

Step-Audio团队开源了一个端到端的语音大模型Step-Audio-AQAA，不需要先把语音转成文字再生成回答，而是直接听懂音频问题后，就能合成自然流畅的语音回答，像跟人聊天一样直接。

目前，大模型LLMs能胜任知识问答、代码辅助等多种任务，但传统模型大多只能输出文本，无法直接生成自然语音，这让人机音频交互不够顺畅。

要知道，人类交流和感知环境可不只是靠文字，语音里藏着音色、情感、语调等丰富信息，其他音频也包含着现实场景的关键信息。所以，能根据语音或音频输入直接回应的音频语言模型就很重要，也是迈向AGI的关键一步。

所以，Step-Audio团队开源了一个端到端的语音大模型Step-Audio-AQAA，不需要先把语音转成文字再生成回答，而是直接听懂音频问题后，就能合成自然流畅的语音回答，像跟人聊天一样直接。

开源地址：https://huggingface.co/stepfun-ai/Step-Audio-AQAA

Step-Audio-AQAA的架构采用了一种完全端到端的音频语言建模，由双码本音频标记器、骨干LLM和神经声码器三个核心模块组成。

双码本音频标记器是 Step-Audio-AQAA 的前端模块，其作用是将输入的音频信号转换为结构化的标记序列。该模块的设计灵感来源于语音信号中丰富的语言和语义信息。为了更好地捕捉这些信息，Step-Audio-AQAA 引入了两个不同的标记器：语言标记器和语义标记器。语言标记器专注于提取语音的结构化、高层次特征，例如音素和语言属性，这些特征对于理解语音的语义内容至关重要。

它利用 Paraformer 编码器的输出，以 16.7 赫兹的速率将语音信号量化为离