irontiger65的博客

1. BERT 1. How to use BERT 都需要一些labled data Case 3:NLI (Natural Language Inference) 实做上，bert不能吃无限长度的输入，大概最长512左右。 2. Training BERT is challenging 3. Why does BERT work？ 前5个果是水果的果，后5个是苹果电脑的果，计算它们embedding的cosine similarity ...

1. 生成式对抗网络 1. Network as Generator 1.1.为什么需要输入一个分布？ 1.2. Unconditional generation generator把一个简单的distribution对应到一个复杂的distribution 2. Theory behind GAN 2.1. Objective 找一个Generator，使得生成数据的分布与目标数据的分布越接近越好 2.2. 如何计算两个distribution之间的divergen..

1. Transformer Sequence-to-Sequenct (Seq2seq): input a sequence，output a sequence，输出长度由机器决定。 e.g 语音识别，机器翻译，语音翻译 1. Encoder 1.1. 网络架构 每个block更为具体的架构： 1.2. to learn more 2. Decoder 1 2 ...

1. CNN CNN 不能解决scaling 和 rotation（→ data augmentation） → spatial transformer layer 2. Self-Attention self-attention可以叠加： 2.1.self-attention运作过程 计算两个vector的relevance α： 不一定要用softmax，其他activation function也可以，e.g. relu 2.2. 矩阵角度 2..

1. General Guide 1.2