CS231N-13-Generative Models

2017.12.3 更新 VAE loss function
————————————————————————————————
深度学习给机器学习带来的变革，不仅是supervised learning监督学习，最近两年将烽火指向无监督学习unsupervised learning，本讲会介绍三个主流算法。

Generative models

特点：

• training data is cheap! 不需要标注label，解放了多少劳动力（想想object detection），大量原始未加工数据可以用
• understand hidden structure of data. 没有label，只有一个目标，挖掘数据结构规律

Generative Model生成模型是无监督学习中有趣的一部分：给你训练数据，生成和训练数据相同分布的新数据。 这里引入重要概念：distribution，density distribution. 这是数据的重要特征。有两种分类：explicit显式分布，即求出$p_{model}(x)$，implicit隐式分布。
Taxonomy：生成模型的分类学，主要分为explicit & implicit density，本讲介绍3个热门的模型。

PixelRNN/CNN

概率问题。我需要理解…
这是机器学习的基本问题，比较数学的眼光，但很重要。
知乎问题：机器学习“判定模型”和“生成模型‘有什么区别？

首先，生成模型分为train和generate两部分（没有test）。
其次，监督学习（判别模型）最大化$p(y|x)$，条件概率，即给你输入x，你输出正确的label y的概率越大越好？而生成模型最大化 p(<