蓝鲸鱼的博客

文章目录1. 基本概念2. 应用2.1 de-noising auto-encoder2.2 feature disentangle2.3 discrete representation2.4 text as representation2.5 Tree as representation2.6 generator2.7 compression2.8 anomaly detection1. 基本概念Auto-encoder包含一个encoder和一个decoder，encoder将原始图片转化为一个低维

文章目录1 encoder2 decoder2.1 masked self-attention2.2 cross attention3. TrainingTransformer由一个encoder和一个decoder组成。1 encoder对于通常的seq2seq的结构，每一个encoder内部，由若干个block组成，每一个block包含一个self-attention的结构和fc层。对于transformer：首先将每一个Block增加了residual的结构，即将输入和输出加在一起作为

RNN网络的的输入是一个定长的向量。例如，分类网络的输入图片大小是固定的。当网络的输入变为变长的向量时，RNN网络就不再适用了，自注意力机制（Self-attention）可以解决这一问题，通过“动态”地生成不同连接地权重。如下图所示，自注意力机制的输入为长度为NNN（NNN可变化）的向量，输出同样为长度为NNN的向量。1. 自注意力机制的计算自注意力机制根据各个输入向量的关联输出，使得每个输出向量包含输入向量的上下文关系。首先需要计算两个输入向量的关联α\alphaα。如下图所示为Dot-pr

文章目录1. 概念区分1.1 Life Long v.s. Multi task1.2 Life Long v.s. Transfer2. 终身学习2.1 Selective Synaptic Plasticity2.2 Gradient Episodic Memory (GEM)2.3 Progressive Neural Networks2.4 PackNet2.1.5 Compacting, Picking, and Growing(CPG)2.1.6 Generating Data2.1.7 不同架