听会笔记
介绍了机器人语音技术部的关键技术包括前端的信号处理,语音识别ASR,自然语言处理,以及最后的语音合成TTS

机器人的多模态交互

语音转换案例,可以通过20句话使语音合成变成目标人声音

语音合成部分
介绍了语音合成大致流程

语音合成的发展

优必选的pipeline

多音字发音和停顿的解决方法


seq2seq模型比较
tacotron:相比SPSS,节省了时长模型,语音质量好,但计算量大,训练/推理速度慢,容易丢字,漏字,句尾重音,不易控制
tacotron2:优化了丢字,漏字,计算量大,无法并行,训练/推理速度慢,
Transformer-TTS:语音质量好,结构并行,训练速度快,但推理速度慢

端到端模型方案比较

声码器比较
- WaveGAN 模型结构(GAN) 难训练,表现不稳定
- WaveRNN 模型结构 RNN , 音质好且稳定
- WaveGlow 模型结构 CNN , 有底噪,音质稳定

本文介绍了机器人语音技术部的关键技术,包括信号处理、语音识别ASR、自然语言处理及语音合成TTS等内容。探讨了多模态交互的概念,并通过案例展示了如何通过少量样本实现语音转换。文中还对比了几种主流的语音合成模型和技术,如Tacotron、Tacotron2和Transformer-TTS等,以及不同声码器如WaveGAN、WaveRNN和WaveGlow的表现。
2114





