【项目实战】FastSpeech 代码解析 —— dataset.py

最新推荐文章于 2024-08-08 11:55:14 发布

原创

最新推荐文章于 2024-08-08 11:55:14 发布 · 822 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#FastSpeech #dataset #pytorch #numpy

本文介绍FastSpeech项目中dataset.py文件的功能，包括加载训练数据、数据预处理及补全等关键步骤，确保输入数据符合模型训练要求。

FastSpeech 代码解析 —— dataset.py

文章目录

FastSpeech 代码解析 —— dataset.py

简介

本项目一个基于 FastSpeech 模型的语音转换项目，它是使用 PyTorch 实现的(项目地址)。

FastSpeech 基于 Transformer 的前馈网络，用于并行生成 TTS 梅尔谱图。 FastSpeech 模型与自回归 Transformer TTS 相比，梅尔谱图生成速度加快了 270 倍，端到端语音合成速度加快了 38 倍。(详情请参阅 FastSpeech 的详细介绍)。

由于 FastSpeech 项目较大，代码较多，为了方便学习与整理，对主要代码进行依次介绍。

本文将介绍项目中的 dataset.py 文件： FastSpeech 数据集相关处理

函数解析

get_data_to_buffer

该函数的作用是： 加载训练数据，组装数据集

输出参数：

		buffer	:

代码详解：

		def get_data_to_buffer():
		    # 创建列表
		    buffer = list()
		    # 将 LJSpeech 数据集语音文本列表从磁盘读取到内存
		    text = process_text(os.path.join("data", "train.txt"))
		
		    # 记录开始时间
		    start = time.perf_counter()
		    for i in tqdm(range(len(text))):
		        # 获取 mel 谱图文件名，并加载至内存
		        mel_gt_name = os.path.join(
		            hparams.mel_ground_truth, "ljspeech-mel-%05d.npy" % (i+1))
		        mel_gt_target = np.load(mel_gt_name)
		        # 加载音素持续时间文件
		        duration = np.load(os.path.join(
		            hparams.alignment_path, str(i)+".npy"))
		        # 加载语音文本