HITSZ‘s End-To-End Speech Translation Systems Combining Sequence-to-Sequence Auto Speech Recognit...

文章主要内容总结

本文介绍了哈尔滨工业大学（深圳）（HITSZ）为IWSLT 2025 Indic赛道提交的语音到文本翻译（ST）系统，聚焦英语与印度语言（印地语、孟加拉语、泰米尔语）的双向翻译任务。针对低资源语言对的翻译质量提升问题，研究团队提出了一种端到端系统，将预训练的Whisper自动语音识别（ASR）模型与印度语专用大语言模型（LLM）Krutrim相结合。

实验结果显示，该端到端系统在英语到印度语言方向的平均BLEU分数为28.88，在印度语言到英语方向为27.86。此外，研究还探索了思维链（Chain-of-Thought, CoT）方法，发现其在成功解析的输出上能显著提升翻译质量（如泰米尔语到英语的BLEU分数提升13.84），但存在模型难以持续遵循CoT输出格式的挑战。

文章创新点

1. 端到端系统架构：首次将Whisper语音识别模型与印度语专用LLM Krutrim整合，针对英语-印度语言这一低资源场景构建高效端到端语音翻译系统，平衡了翻译质量与 latency（延迟）。
2. 模块化微调策略：采用LoRA（Low-Rank Adaptation）适配器进行微调，仅更新轻量级模块（如Q-Former和LLM适配器），冻结预训练模型主体参数，实现低资源场景下的高效任务适配。
3. 思维链（CoT）方法探索：首次在英语-印度语言语音翻译中验证CoT方法的潜力，发现其在格式合规的输出中能大幅提升翻译质量，为低资源语言翻译提供了新的优化思路。