一般线性模型

指数分布族

形式：

应用：

1. logistic 回归：

• logistics 回归其实是伯努利分布。$p(y;\theta) = \theta^y * (1-\theta)^{1-y}$ . 其中$\theta$可以看做$h_\theta(x)$
• 伯努利分布是指数分布的一个特列：
  
  其中：
  
  $\eta = log(\frac\theta{1-\theta})$ 因此：$\theta = \frac1{1+e^{-\eta}}$

2.梯度下降：

• 最小二乘法其实是高斯分布。
  
• 高斯分布是指数分布的一个特列：
  $y|x;\theta$ ~ $N(\mu, \sigma^2)$ , 其中$\sigma^2$是无关项，不妨另σ