（斯坦福机器学习课程笔记）用广义线性模型推导逻辑回归模型

广义线性模型的公式是

$$P(y;\eta)=b(y)exp(\eta ^TT(y)-a(\eta))$$
其中 $\eta$是自然参数， $\eta =\theta ^Tx$， $T(y)$是充分统计量。 $P(y;\eta)$服从指数分布。
============================================================
推导逻辑回归公式
逻辑回归公式是从伯努利分布来的
$$P(y;\phi)=\phi ^y (1-\phi )^{1-y}=exp(y ln(\frac{\phi}{1-\phi})+ln(1-\phi))$$
其中， $b(y)=1$， $\eta ^T=ln\frac{\phi}{1-\phi}$， $T(y)=y$， $a(\eta)=-ln(1-\phi)$
在此，由于 $\eta =\theta ^Tx=ln\frac{\phi}{1-\phi}$，可以得到 $\phi=\frac{1}{1+e^{-\theta^Tx}}$，也就是sigmoid函数。可以得到
$$P(y;\phi)=P(y|x;\theta)=（\frac{1}{1+e^{-\theta^Tx}}）^y（1-\frac{1}{1+e^{-\theta^Tx}}）^y$$
取似然函数 $L(\theta)$
$$L(\theta)=\prod_{i=1}^{m}P(y_i|x_i;\theta)$$
取似然对数
$$l(\theta)=\sum_{i=1}^{m}(y_ilog\frac{1}{1+e^{-\theta^Tx_i}}+(1-y_i)(log(1-\frac{1}{1+e^{-\theta^Tx_i}})))$$

$l(\theta)$就是逻辑回归的代价函数。
有时喜欢在$l(\theta)$前面乘以-$1\over m$,得到的代价函数是

$$l(\theta)=-\frac{1}{m}\sum_{i=1}^{m}(y_ilog\frac{1}{1+e^{-\theta^Tx_i}}+(1-y_i)(log(1-\frac{1}{1+e^{-\theta^Tx_i}})))$$
迭代公式是
$$\theta_{n+1}^j=\theta_n^j-a\frac{1}{m}\sum_{i=1}^{m}(\frac{1}{1+e^{-\theta^Tx_i}}-y_i)x_i^j$$
其中 $j$是分量编号

=============================似然==========================
对似然函数的理解不足，导致以为理解了，后来因为概念模糊，又回头看。来来回回好几次。这里写下来备忘。
取似然函数$L(\theta)=\prod_{i=1}^{m}P(y_i|x_i;\theta)$这一步的来由是：

根据似然函数的定义，似然函数是在参数$\theta$的条件下（并不把$\theta$看作变量），事件$x$发生的概率:记$L(\theta)=P(x;\theta)$，若$x\in \{x_1,x_2,x_3 \cdots x_m\}$，则$L(\theta)=\prod\limits_{i=1}^{m}P(x_i;\theta)$。

到推导过程中来，事件是样本$\{x_i,y_i\}$，即以$\theta$为参数，已知输入$x_i$时，输出$y_i$的几率。
也许理解仍然被不深刻，待续。。。