参考文章:轻松理解 VQ-VAE:首个提出 codebook 机制的生成模型 | 周弈帆的博客
重点就是这一句话,你也可以理清楚思路之后问ChatGPT。
你仔细去想那个Ze到Zq的过程,其实这个过程是不可导的,但是,如果我们直接巧妙的利用上面这一行公式来计算“梯度——其实就是每一层的导数”,你会发现——欸!怎么都是可以计算的了。其实啊,就是相当于“屏蔽”了Zq的那个东西——你想象这个反向求导的公式和那个前向完整过程就会发现,正好就是屏蔽了那一节。
参考文章:轻松理解 VQ-VAE:首个提出 codebook 机制的生成模型 | 周弈帆的博客
重点就是这一句话,你也可以理清楚思路之后问ChatGPT。
你仔细去想那个Ze到Zq的过程,其实这个过程是不可导的,但是,如果我们直接巧妙的利用上面这一行公式来计算“梯度——其实就是每一层的导数”,你会发现——欸!怎么都是可以计算的了。其实啊,就是相当于“屏蔽”了Zq的那个东西——你想象这个反向求导的公式和那个前向完整过程就会发现,正好就是屏蔽了那一节。