disanda的专栏

上一步整理完数据集后，此步输入数据, 微调2个模型VITS和GPT，位置在 下的这一步微调VITS的预训练模型，即微调SynthesizerTrn模型这一步微调GPT的预训练模型，这里采用的是google的soundstorm复现模型结构文件在：’ ./GPT_SoVITS/AR/models/t2s_model.py’注意，两个模型微调是独立的, 可分别完成。

将音频切割为多个10s内的片段。

AI音频处理 基本概念

本节主要对”音乐”和”人声“等概念初步整理，并过度到AI模型的讲解，本节后续会有补充或修改。

本节主要讲音频的 时域 到 频域的变换和理解

介绍音频：”音高”的概念，与对应频率单位，和不同频率的音频感知分类。再介绍声音”强度”的概念，即响度，对应“分贝”单位，及不同强度音频的感知和分类。

傅里叶变换相关概念和代码

介绍 时频表征-分析 (time-frequency representation/analysis) 常用的 时频图

短时傅里叶变换 (Short-Time Fourier Transform, STFT) 是一种时频谱转换算法，它通过在时间上移动窗口函数并计算窗口内信号的频谱来获得信号在时间和频率上的信息。填充信号可以确保每个窗口都有足够的数据进行频谱计算，特别是在窗口函数的边缘。窗口函数主要用于信号处理中的短时傅里叶变换（STFT）、滤波器设计和其他需要对信号进行窗函数处理的场景， 可减少频谱泄漏，避免傅里叶变换中的频谱混叠。

频谱特性：汉宁窗口的频谱具有较低的旁瓣（sidelobe），这意味着它能够有效地抑制频谱泄漏，主瓣（mainlobe）较宽，这会降低频率分辨率。短时傅里叶变换：STFT通过对信号进行分段，对每个片段应用汉宁窗口，能减少频谱泄漏，获得更准确的频谱信息。本节代码。

LJ Speech Dataset

VCTK数据集介绍

HiFiGAN 解析

HiFiGAN-2

VITS项目源代码解读

模型部分包含三个文件注意机制就是transformer，在文本编码器中用到了，transformer的encoder。modules.py这个包含模型的一些基础结构(blocks), 比如Norm, Conv, Resblock等models.py这个是VITS核心的模型结构，前两个文件只是其基础。

neg_cent2, neg_cent3, neg_cent4: 这些项结合了模型生成的潜在变量 z_p 和高斯分布的均值 m_p，并通过加权求和的方式编码了目标序列与源序列的匹配程度。仅用于训练，将x_mask和y_mask计算得到attn_mask，将logs_p和m_p (来自 enc_p) 与z_flow (enc_q)计算得到的neg_cent。neg_cent 是一个成本矩阵，它的每一行代表目标序列中的位置（音频），每一列代表源序列中的位置（文本），动态规划帮助我们找到最优的映射。

本节介绍多个文件：频谱 spectrogram 转换为 mel_spectrogram 的操作函数losses.py训练模型用到的损失函数utils.py一个工具包，包含项目运行所需的辅助类或函数commons.py包含训练网络时对数据处理函数(暂略)

该文件包含多种通用向量运算函数，部分比较抽象, 共18个函数。

VITS到这里就告于段落了， 后面的VITS2改进了VITS的dp模型（flow变gan），在cosvoice等模型里面也能见到VITS的主干网络。因此， VITS是音频tts和vc、sc的核心技术。