62、基于Whisper的构音障碍自动语音识别迁移学习

基于Whisper的构音障碍自动语音识别迁移学习

1. 引言

构音障碍是一种运动性言语障碍，影响个体清晰发音的能力，使得语音识别成为一项具有挑战性的任务。构音障碍通常由多种神经系统疾病引起，如脑瘫、肌肉萎缩症、中风、脑部感染、脑损伤、面瘫、舌或喉部肌肉无力以及神经系统紊乱等。这些病症导致大脑与参与自然言语产生机制的肌肉之间缺乏协调，从而使构音障碍患者难以发出清晰可懂的语音，引发一系列言语障碍，包括构音障碍、口吃、失用症和韵律障碍等。

构音障碍患者不仅在人际交流方面面临挑战，在使用键盘、鼠标和智能手机等各种技术界面时也存在困难。因此，开发有效的辅助技术解决方案对于提高他们的沟通能力和生活质量至关重要。自动语音识别（ASR）技术为构音障碍患者提供了一种与他人和计算机进行交互的途径，具有增强可访问性、提高效率和改善沟通等诸多优点。

ASR任务根据说话者的特征可分为三类：
- 说话者无关（SI）系统：一种通用系统，能够识别任何语音输入，而不考虑说话者的身份。
- 说话者相关（SD）系统：专为特定的构音障碍个体设计，并相应地训练模型。
- 说话者自适应（SA）系统：对SI系统进行微调，使其能有效地为特定个体或特定群体服务。

然而，基于隐马尔可夫模型（HMM）的构音障碍ASR方法往往性能不佳，这是由于构音障碍语音存在显著的变异性，且可用数据不足以有效训练ASR系统。近年来，一些端到端的深度学习模型结合数据增强和合成数据生成技术被应用于该领域。在本研究中，我们提出了一种使用预训练的Whisper模型的迁移学习方法来开发构音障碍ASR系统。

2. 提出的工作

2.1 Whisper简介