一、背景
今天对Hybrid Transformer Demucs代码进行解读,目标:对图c中各个模块对应的代码进行解读(时域编码、频域编码、时域解码、频域解码、Cross-Domain Transformer Encoder模块、STFT模块、ISTFT模块)。解读的代码是开源工程中的htdemucs.py、hdemucs.py、 transformer.py、spec.py。
具体的paper解读看这篇文章。
关于Hybrid Transformer Demucs算法各个模块对应的代码具体在工程的哪个地方看这篇文章。
二、解读
2.1 时域编码和频域编码
时域编码和频域编码复用同一个类,HEncLayer。(要像看图文博客一样看代码,先整体再局部,主观感受就会好很多)。此部分对应工程中的hdemucs.py文件。