2025_NIPS_Time-Masked Transformers with Lightweight Test-Time Adaptation for Neural Speech Decoding

一、文章主要内容总结

该研究聚焦于神经语音解码的语音神经假体技术，旨在解决现有算法在实时性、计算效率、跨时间鲁棒性等方面的不足，使其更贴合临床实际应用。核心目标是从瘫痪患者的神经活动中直接解码语音，帮助肌萎缩侧索硬化症（ALS）等严重瘫痪患者恢复交流能力。

研究基于Brain-to-Text Benchmark ’24开源数据集（含1名ALS患者24天的颅内微电极阵列记录），针对基线算法（门控循环单元GRU）的过拟合、计算冗余等问题，提出了三项关键优化，并设计了轻量级测试时自适应方法，最终在保证解码准确性的同时，大幅降低计算成本、实现实时流式解码。

二、核心创新点

1. 时间掩码训练（Time-Masking）：训练过程中对每个试验的连续时间片段进行大量掩码（平均掩码占比53%），作为正则化策略延缓模型过拟合，解决基线GRU早期过拟合问题。
2. 紧凑Transformer架构替代GRU：采用单向、非重叠时间块输入的Transformer，相比基线GRU：参数减少83%、峰值GPU内存占用降低52%、训练epoch时间缩短58%，且无需依赖重叠输入（避免GRU的计算冗余），同时保持实时解码兼容性。
3. 轻量级测试时自适应方法DietCORP：基于CORP方法优化，利用单试验的多个时间掩码增强样本，仅需1步梯度更新即可完成模型自适应，无需存储历史数据。在跨未训练天数测试中，有效缓解性能下降，且仅需1.3 GiB峰值GPU内存和18ms/试验的自适应时间。
<