【Stanford机器学习笔记】3-Logistic Regression for Classification

Notes:
前面章节中主要讲了机器学习的一个应用方向：回归预测。接下来的课程主要讲机器学习的另外一个应用方向：分类。其中，逻辑回归模型（Logistic Regression Model）主要用于分类应用。

1. Classification with two classes

假设要解决两类的分类问题，即y=0和y=1，利用线性回归的模型解决分类问题往往不是很理想，而且线性回归模型的输出值有可能远远大于1或小于0，而逻辑回归模型的输出值可保持在0和1之间，能较好的解决分类问题。

$$0\le h_x(\theta)\le1$$

2. Hypothesis Presentation

（1）逻辑回归模型的假设函数为：

$$h_\theta(x)=g(\theta^Tx)=\frac{1}{1+e^{-\theta^Tx}}$$
其中， $g(z)$为S函数（Sigmoid Function）或逻辑函数（Logistic Fucntion）,它的值域是0到1。

（2）逻辑回归模型假设函数的意义
逻辑回归模型是依靠逻辑函数输出某一样本属于某一类（y=1）的概率大小。

$$h_\theta(x)=P(y=1|x;\theta)$$

3. Decision Boundary

（1）决策边界即是分类的边界，上节中我们知道假设函数是样本属于某一类的概率，所以需要我们定义一个阈值，大于阈值的则分类为1（y=1）；小于阈值的则分类为0（y=0），假设阈值为0.5，根据Sigmoid函数的函数曲线可知：

• 当$z=\theta^Tx$大于0时，$h_{\theta}(x)$大于0.5
• 当$z=\theta^Tx$小于0时，$h_{\theta}(x)$小于0.5

即：

θTx≥0→