ssjdoudou的博客

Time series on TransformerTransformer InputTransformer输入是一个序列数据，以"Tom chase Jerry" 翻译成中文"汤姆追逐杰瑞"为例：Encoder 的 inputs就是"Tom chase Jerry" 分词后的词向量。可以是任意形式的词向量，如word2vec，GloVe，one-hot编码。假设上图中每一个词向量都是一个512维的词向量。Postions Encoding(PE)transformer模型的attention

Gibbs Sampling假设二维场景下，状态(x, y)转移到(x’, y’)，可以分为三种场景平行于y轴转移，如上图中从状态A转移到状态B平行于x轴转移，如上图中从状态A转移到状态C其他情况转移，如上图从状态A转移到状态DA->B:p(x1,y1)p(y2∣x1)=p(x1)p(y1∣x1)p(y2∣x1)p(x_{1},y_{1})p(y_{2}|x_{1}) = p(x_{1})p(y_{1}|x_{1})p(y_{2}|x_{1})p(x1​,y1​)p(y2​∣x