机器学习-生成学习算法

情景：
区别动物，根据动物的特性，大象输出1，狗输出0；

1.判别型算法（discriminative learning）

• 直接学习p(y|x)
• 直接学习$h_θ(x)$
• logistic是判别型算法的一个例子

---

• 整个过程中其实就是寻找一个最佳的“直线”
• Andrew Ng:
  

  Given a training set, an algorithm like logistic regression or the perceptron algorithm (basically) tries to find a straight line-that is, a decision boundary-that separates the elephants and dogs.

---

• 有了“分界线”，就可以判别一个新动物的种类了

---

2.生成学习算法（generative learning algorithms）

• 一种新的方法，考虑大象的时候，构建一个大象的模型；考虑狗的时候，构建一个狗的模型。
• 在判别一个新的动物的类型时，即可以与大象模型做匹配，也可以与狗模型做匹配，看哪一种匹配度高一些
• 由此得到，p（x | y=0）是狗特性的分布；p( x | y=1 )是大象特性的分布
  
• p(x)=p(x|y=1)p(y=1)+p(x|y=0)p(y=0)

---

1.Gaussian discriminant analysis(GDA)

1.高斯分布

• 随着$\sum$的变化，图形的相应变化
• I=[10