irontiger65的博客

1. BERT1. How to use BERT都需要一些labled dataCase 3:NLI (Natural Language Inference)实做上，bert不能吃无限长度的输入，大概最长512左右。2. Training BERT is challenging3. Why does BERT work？前5个果是水果的果，后5个是苹果电脑的果，计算它们embedding的cosine similarity...

1. 生成式对抗网络1. Network as Generator1.1.为什么需要输入一个分布？1.2. Unconditional generationgenerator把一个简单的distribution对应到一个复杂的distribution2. Theory behind GAN2.1. Objective找一个Generator，使得生成数据的分布与目标数据的分布越接近越好2.2. 如何计算两个distribution之间的divergen..

1. TransformerSequence-to-Sequenct (Seq2seq): input a sequence，output a sequence，输出长度由机器决定。e.g 语音识别，机器翻译，语音翻译1. Encoder1.1. 网络架构每个block更为具体的架构：1.2. to learn more2. Decoder12...

1. CNNCNN 不能解决scaling 和 rotation（→ data augmentation）→ spatial transformer layer2. Self-Attentionself-attention可以叠加：2.1.self-attention运作过程计算两个vector的relevance α：不一定要用softmax，其他activation function也可以，e.g. relu2.2. 矩阵角度2..

1. General Guide1.2