分类问题-机器学习（machine learning）笔记（Andrew Ng）

分类算法（classification problem）

逻辑回归（logistic regression）

hypothesis：

$$h_\theta(x) = g(\theta^Tx)\\ g(z) = \frac{1}{1+e^{-z}}$$
g(z)被称作S型函数（sigmoid function）或者逻辑函数（logistic function），函数图像如图所示，过 $(0,0.5)$点，正无穷趋于 $1$，负无穷趋于$0$。

实际上，这个假设函数计算的是$P(y=1|x;\theta)$，即给定$x$的条件下，$y=1$的概率，然后我们使得

$$\begin{equation} y= \begin{cases} 1, &if&h_\theta(x)\ge0.5 &now&\theta^Tx\ge0\\ 0,&if&h_\theta(x)<0.5&now&\theta^Tx<0 \end{cases} \end{equation}$$
其中 $\theta^Tx=0$ 或者 $h_\theta(x)=0.5$ 被称为决策边界（decision boundary），易见 $\theta$ 确定下来后，决策边界也会确定下来。
在线性回归中用到的两种拟合的方法也可以用在这里：

• 线性 $h_\theta(x)=g(\theta_0+\theta_1*x_1+\theta_2*x_2)$
• 多项式 $h_\theta(x)=g(\theta_0+\theta_1*x_1+\theta_2*x_2+\theta_3*x_1^2+\theta_4*x_2^2)$

cost function

$$J(\theta)=\frac{1}{m}\sum_{i=1}^mCost(h_\theta(x^{(i)}),y^{(i)})\\ \begin{equation} Cost(h_\theta(x),y)= \begin{cases} -\log(h_\theta(x))&if&y=1\\-\log(1-h_\theta(x))&if&y=0 \end{cases} \end{equation}$$

如果$h_\theta(x)$趋向于1的时候， $y$ 的预测值应当取作1，所以此时 $y=1$ 的时候，$Cost$ 函数应当尽可能的小。当$h_\theta(x)$取到1的时候，$Cost=0$ 。
如果$h_\theta(x)$趋向0的时候，$y$的预测值应当取做0，但是如果此时$y=1$，说明我们的算法很烂，$Cost$应该尽可能大。当$h_\theta(x)$趋向0的时候，$Cost$趋向于无穷。
对$y=0$的分析相似。
我们可以简化$Cost$：

$$Cost(h_\theta(x), y)=-y\log(h_\theta(x))-(1-y)\log(1-h_\theta(x))$$
所以最后的cost function为：
$$J(\theta)=-\frac{1}{m}[\sum_{i=1}^my^{(i)}\log h_\theta(x^{(i)})+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))]$$
todo 这个式子是从极大似然估计而来的
为了得到 $\theta$的估计值，我们可以使用梯度下降，更新的过程如下：
$$\theta_j:=\theta_j-\alpha\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$
关于这个式子的得到仍然是对代价函数 $J(\theta)$求偏导，以求能够找到以步伐 $\alpha$最快“下山”的路径。
求导过程：