吴恩达机器学习笔记（三）

一、Logistic 回归

前面我们学习的是多元线性回归和多项式回归用于房价预测，这些回归类型的算法的预测结果都是连续的值，这里我们开始学习分类相关的问题，分类问题的预测结果是一个离散值。

对于垃圾邮件分类问题，预测的结果为 { 不是垃圾邮件，是垃圾邮件 } \{\text{不是垃圾邮件，是垃圾邮件} \} {不是垃圾邮件，是垃圾邮件}，我们可以用符号分别记为 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}，其中 $0$ 表示 反例(Negative Class)，$1$ 表示 正例(Positive Class)。对于二分类，预测结果只有两种，所以可以记这两个结果为 正例 和 反例，对于多分类，预测的结果为 y ∈ { 1 , 2 , ⋯   } y\in\{1,2,\cdots\} y∈{1,2,⋯}。这里我们首先讨论怎样进行二分类，最后过渡到多分类。

1.1 利用回归进行分类

如下图是对肿瘤进行恶性或良性分类的问题，坐标轴根据肿瘤大小将肿瘤分为两类：

怎样根据以上的数据，学习一个模型来实现对未知数据的分类呢？我们可以利用之前的 线性回归算法，通过学习得到如下所示的假设函数，之后将分类器的阈值设置为 $0.5$ ，即

• 如果 $h_{\theta }(x)\ge 0.5$，预测值 $y=1$
• 如果 $h_{\theta }(x)\le 0.5$，预测值 $y=0$

从上面的例子可以看出，我们可以通过设置阈值的方式将回归算法用于分类，但是利用线性回归进行分类会存在一些问题。如下图所示，如果新加入一个右侧的样本：

我们仍然使用线性回归的方式，可能会得到下图所示的假设函数：

从上面的假设函数可以看出，如果我们仍然选择使用 $0.5$ 作为阈值，就会造成一部分数据分类错误，所以因为新样本的加入导致产生了一个更坏的假设函数。

所以直接使用线性回归进行分类并不是一个很好的选择，因为拟合得到曲线的好坏通常是不固定的。

使用线性回归进行分类还可能出现的一个问题是，预测得到的结果可能会远大于 1 或 小于 0，这会导致预测结果和真实的标签 { 0 , 1 } \{0,1\} {0,1} 之间的差距过大，从而产生分类误差。

1.2 Logistic 回归

Logistic 回归 是一种分类算法，虽然名字称为回归，但是这确实是一个用来分类的算法，其特点是算法的输出或预测值 $0\le h_{\theta }(x)\le 1$，所以可以将其用于预测标签 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1} 的情况。

Logistic 回归的假设函数相比于线性回归加入了一个新的函数，即：
$$h_{\theta }(x)=g({\theta }^{T}x)$$

其中：
$$g(z)=\frac{1}{1+e^{-z}}$$

$g(z)$ 称为 Sigmoid 函数 或 Logistic 函数，其函数图像如下所示：

可以发现，在 $z$ 趋于无穷大时候，$g(z)$ 趋于 1，在 $z$ 趋于无穷小时，$g(z)$ 趋于 0。因此，通过对线性回归加入 $g(z)$ 函数，我们就能将预测的结果保证在 $[0,1]$ 之间。

最终，我们得到 Logistic 回归的假设函数：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

这样我们就可以选择一个方法确定其中参数 $\theta$ 的值，假设函数就能帮我们对新样本做出预测。

对于肿瘤预测的假设函数，我们希望得到的预测结果为 $h_{\theta }(x)=1$ 表示是肿瘤，$h_{\theta }(x)=0$ 表示不是肿瘤，但是上面我们说，Sigmoid 函数得到的结果是 $[0,1]$ 之间的，所以，在 Logistic 回归中，预测得到的结果其实表示的是 概率，如：

• $h_{\theta }(x)=0.7$ 表示预测该样本是肿瘤的概率为 $0.7$

所以我们可以将假设函数记为：
$$h_{\theta }(x)=P(y=1|x;\theta )$$

即，在假设函数中的参数为 $\theta$，并且样本为 $x$ 时，预测结果为 $1$ 的概率，对于二分类来说，只有两种以预测结果，所以有：
$$P(y=0|x;\theta )+P(y=1|x;\theta )=1$$

因此我们也可以根据上式计算出：
$$P(y=0|x;\theta )=1-P(y=1|x;\theta )$$

1.3 决策边界

有了预测概率后，我们就可以根据预测概率得到预测结果 $y=1$ 还是 $y=0$ ，即：

• 当 $h_{\theta }(x)\ge 0.5$ 时， $y=1$
• 当 $h_{\theta }(x)<0.5$ 时， $y=0$

观察 Sigmoid 函数，我们可以发现，当 $z<0$ 时，$g(z)\le 0.5$；当 $z>0$ 时，$g(z)>0.5$。Logistic 回归就是令 $g(z)$ 中 $z={\theta }^{T}x$，也就是对于 Logistic 回归：

• 当 $z={\theta }^{T}x\ge 0$ 时， $h_{\theta }(x)\ge 0.5$ ，记 $y=1$
• 当 $z={\theta }^{T}x<0$ 时， $h_{\theta }(x)<0.5$ ，记 $y=0$

如下图所示的数据集中，如果我们令假设函数如下所示：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$$

这里我们不介绍假设函数中参数的求解，如果我们现在令三个参数分别为 ${\theta }_0=-3,{\theta }_1=1,{\theta }_2=1$，所以假设函数就是：
$$h_{\theta }(x)=g(-3+x_1+x_2)$$
根据上面的讨论，我们可以得到：

• 当 ${\theta }^{T}x=-3+x_1+x_2\ge 0$ 时，预测结果 $y=1$

根据 $-3+x_1+x_2\ge 0$，我们可以得到 $x_2\ge -x_1+3$ 这个条件，我们将这条线在图中表示如下：

可以看到，我们根据参数 $\theta$ 和 $h_{\theta }(x)$ 得到了一个可以将样本分为两类的边界，边界上方的区域就是 $y=1$ 的部分，边界下方的区域就是 $y=0$ 的部分，我们称这个边界为 决策边界，表示进行分类时进行判断的边界。

从上面的描述我们可以看出，如果我们有了假设函数，并且假设函数中的参数都确定了，那么我们就能够确定一个 决策边界 用于分类，决策边界在哪是由 假设函数 和 其中的参数 决定的。

下面是一个更复杂的例子，我们可以选择一个多项式构成的假设函数，函数的形式如下：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_2^2)$$

同样，我们直接给出其中参数的值，来观察这样构成的假设函数是怎么实现分类的，我们令 ${\theta }_0=-1,{\theta }_1=0,{\theta }_2=0,{\theta }_3=1,{\theta }_4=1$，得到具体的假设函数为：
$$h_{\theta }(x)=g(-1+x_1^2+x_2^2)$$

• 当 $-1+x_1^2+x_2^2\ge 0$ 时，我们可以得到预测结果 $y=1$

因此我们可以得到条件 $x_1^2+x_2^2\ge 1$，在图中表示如下，我们就得到了对应该数据集的决策边界。

对于更加一般的情况，我们可以用如下形式的假设函数来模拟非常复杂的决策边界，如下图所示：
$$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+{\theta }_3{x}_1^2+{\theta }_4{x}_1^2{x}_2+{\theta }_5{x}_1^2{x}_2^2+\cdots )$$

1.4 代价函数

对于一个需要分类的数据集，我们记 有 $m$ 个样本的数据集为 { ( x ( 1 ) , y ( 1 ) ) , ( x ( 2 ) , y ( 2 ) ) , ⋯   , ( x ( m ) , y ( m ) ) } \{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),\cdots,(x^{(m)},y^{(m)})\} {(x(1),y(1)),(x(2),y(2)),⋯,(x(m),y(m))}，其中每个 x = [ x 0 x 1 ⋮ x n ] , x 0 = 1 , y ∈ { 0 , 1 } x = \left[ \begin{matrix} x_0 \\ x_1 \\ \vdots \\ x_n \end{matrix} \right] ,x_0 =1,y\in \{ 0,1\} x=⎣⎢⎢⎢⎡​x0​x1​⋮xn​​⎦⎥⎥⎥⎤​,x0​=1,y∈{0,1} ，假设函数记为：
$$h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$$

现在我们有了数据集和假设函数的形式，那么我们怎么确定假设函数中的参数 $\theta$ 呢？

在线性回归中，我们使用代价函数表示预测值与真实值之间的差距，从而根据代价函数来优化其中的参数 $\theta$，这里我们首先假设也使用其中的 平方误差代价函数：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^m\frac{1}{2}{\left[h_{\theta }(x^{(i)})-y^{(i)}\right]}^2$$

我们可以将其中的平方项简写如下：
$$Cost(h_{\theta }(x),y)=\frac{1}{2}{\left[h_{\theta }(x)-y\right]}^2$$

那么代价函数就可以写为：
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

其中 $Cost(h_{\theta }(x),y)$ 表示预测值 $h_{\theta }(x)$与真实值 $y$ 之间的差距，不同的衡量方式会使 $Cost(h_{\theta }(x),y)$ 对应不同的表达式。

如果我们使用平方差代价函数用于求解 Logistic 回归 的假设函数中的参数，因为 $h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$ 对应的 Sigmoid 函数是一个非线性函数，所以 $J(\theta )$ 会成为 $\theta$ 的非凸函数，凸函数和非凸函数分别如下左右所示，凸函数只有一个全局最小值，但是非凸函数有多个局部最小值，所以对非凸函数使用梯度下降算法并不能保证一定找到那个全局最小值。

所以直接使用线性回归中的 $Cost(h_{\theta }(x),y)$ 代价函数并不能使用梯度下降来找到最小值，那么我们就需要再找一个凸函数，使得我们可以利用梯度下降算法来求解全局最小值。

在 Logistic 回归中，我们可以使用如下的 $Cost(h_{\theta }(x),y)$ 函数：
$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-\log (h_{\theta }(x)),& y=1\\ -\log (1-h_{\theta }(x)),& y=0\end{array}$$

上式表示：

• 对于真实的标签值 $y=1$ 时，选择 $Cost(h_{\theta }(x),y)=-\log (h_{\theta }(x))$
• 对于真实的标签值 $y=0$ 时，选择 $Cost(h_{\theta }(x),y)=-\log (1-h_{\theta }(x))$

为社么要这样选择呢？我们从两个 $Cost(h_{\theta }(x),y)$ 函数的图形表示来看：

1. 对于 $y=1$ 时，由于 $h_{\theta }(x)\in [0,1]$，再根据 $\log (x)$ 函数的形状，我们可以得到$Cost(h_{\theta }(x),y)=-\log (h_{\theta }(x))$ 的图像如下：
   
   从图中我们可以看出，当 $y=1,h_{\theta }(x)=1$ 时，$Cost=0$；但是当 $y=1,h_{\theta }(x)\to 0$ 时，$Cost\to \infty$。其表示当预测值与真实值相同时，两者的代价值为 $0$，但是如果两者不相同，两者的代价值就会比较大，我们就能使用这个比较大的代价值来惩罚学习算法，从而得到更好的参数。

2. 对于 $y=0$ 时，由于 $h_{\theta }(x)\in [0,1]$，再根据 $\log (x)$ 函数的形状，我们可以得到$Cost(h_{\theta }(x),y)=-\log (1-h_{\theta }(x))$ 的图像如下：
   
   从图中我们可以看出，当 $y=0,h_{\theta }(x)=1$ 时，$Cost\to \infty$；但是当 $y=0,h_{\theta }(x)\to 0$ 时，$Cost=0$。这也说明了在真实值与预测值相同时代价值较小，但是不同时代价值比较大。

从上面个两个讨论我们可以知道，对于这个新的代价函数，首先它是凸函数，这表示我们可以使用梯度下降算法来寻找最小值。还有就是我们能够根据预测结果计算出相应的代价值，如果预测值和真实值不同，就会产生比较大的代价值，我们就能使用代价值来优化其中的参数。

1.5 简化代价函数与梯度下降

对于
$$J(\theta )=\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)}),y^{(i)})$$

$$Cost(h_{\theta }(x),y)=\{\begin{array}{ll}-\log (h_{\theta }(x)),& y=1\\ -\log (1-h_{\theta }(x)),& y=0\end{array}$$

构成的代价函数，由于 $Cost(h_{\theta }(x),y)$ 包含两个不同的函数，但是我们希望将两者合并为一个， 这样更加便于我们使用梯度下降对其求解参数，因此，我们将 $Cost(h_{\theta }(x),y)$ 写成如下形式：
$$Cost(h_{\theta }(x),y)=-y\log (h_{\theta }(x))-(1-y)\log (1-h_{\theta }(x))$$

我们将 $y=0$ 和 $y=1$ 分别带入上式，可以发现

• 当 $y=1$ 时，$Cost(h_{\theta }(x),y)=-\log (h_{\theta }(x))$
• 当 $y=0$ 时，$Cost(h_{\theta }(x),y)=-\log (1-h_{\theta }(x))$

最终，我们可以得到 Logistic 回归的代价函数为：
$$\begin{array}{rl}J(\theta )& =\frac{1}{m}\sum _{i=1}^{m}Cost(h_{\theta }(x^{(i)},y^{(i)}))\\ & =-\frac{1}{m}\left[\sum _{i=1}^m[y^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)})]\right]\end{array}$$

上式来源于概率论中的极大似然估计方法，使用这个方法我们可以估计其中的参数值，并且该函数是 凸函数，这样我们就可以使用梯度下降算法计算其最小值。

到这里，我们的目的已经明确了，那就是最小化代价函数：
$$\min J(\theta )$$

使得假设函数 $h_{\theta }(x)$ 能够预测得出和真实值尽可能相似的结果。

我们仍然可以使用梯度下降算法来更新其中的参数：

do{
${\theta }_j={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$
}while(!convergence)

可以看出，我们主要求解的就是 $\frac{\partial }{\partial {\theta }_j}$，根据求导公式可以得到 ¹：
$$\frac{\partial }{\partial {\theta }_j}J(\theta )=\frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_j^{(i)}$$

因此，我们更新的过程就可以改为为;

do{
${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_j^{(i)},j=0,1,2,\cdots ,n$
}while(!convergence)

对比之前的线性回归，我们可以发现两者更新的表达式都是 ${\theta }_j={\theta }_j-\alpha \frac{1}{m}\sum _{i=1}^m\left[h_{\theta }(x^{(i)})-y^{(i)}\right]x_j^{(i)}$，但是其实两者并不相同，因为线性回归中 $h_{\theta }(x)={\theta }^{T}x$，在 Logistic 回归中 $h_{\theta }(x)=\frac{1}{1+e^{-{\theta }^{T}x}}$，所以虽然两者形式相同，但是假设函数不同，两者也完全不同。

特征缩放应用于 Logistic 回归对于梯度的计算仍然有很大的提升作用，因此如果多个特征的取值范围相差过大，我们可以选择通过特征缩放减少梯度下降的时间。

1.6 高级优化

对于代价函数 $J(\theta )$ 和偏导数 $\frac{\partial }{\partial {\theta }_j}J(\theta )$ 的求解不只有梯度下降一种方法，更高级的优化方法包括：

• 共轭梯度（Conjugate gradient）
• 拟牛顿法(BFGS)
• L-BFGS

这些算法的主要优点是：

1. 不需要手动的选择学习率 $\alpha$，算法自动的选择一个合适的学习率来优化其中的参数
2. 相比于梯度下降算法，这些高级的方法可以收敛的更快

但是这些算法过于复杂，我们可以直接使用相应的库来直接调用。

二、Logistic 回归用于多分类

2.1 多分类

多分类就样本对应的真实标签的个数大于2，例如对于天气分类，我们可以将当前的天气分为 晴天
$y=1$、阴天 $y=2$ 、雨天 $y=3$、下雪天 $y=4$ 。

二分类的数据集只分为两种，如下左图，但是多分类的数据集分为多种，如下右图所示，这时我们就不能简单的再使用二分类的方法，我们需要使用特殊的方法找到不同类别样本之间的决策边界。

2.2 多分类的实现

实现多分类的一种方法就是构建多个二分类模型，通过它们的同时使用，实现对多种数据的分类，如下所示是包含三种类别的数据，即 $y=1,2,3$：

为了能够区分出这三类数据，我们可以将问题转换为三个独立的二分类问题：

1. 将所有数据集分为 { c l a s s 1 ,    c l a s s 2 + c l a s s 3 } \{class1,\ \ class2+class3\} {class1,  class2+class3} 构成的两类数据，如下图，我们令 $class1$ 为正例，即 $y=1$，那么我们就能根据这两类数据构建一个假设函数 $h_{\theta }^{(1)}(x)$，从而确定如下图所示的决策边界，这个假设函数可以判断数据为 $class1$ 的概率，因为 $h_{\theta }(x)=P(y=1|x;\theta )$ ，也就是样本属于 $class1$ 的概率。

   

2. 同理，我们再将数据集分为 { c l a s s 2 ,    c l a s s 1 + c l a s s 3 } \{class2,\ \ class1+class3\} {class2,  class1+class3}，这样我们可以得到用于区分 $class2$ 的假设函数 $h_{\theta }^{(2)}(x)$，计算样本属于 $class2$ 的概率。

   

3. 最后将数据集分为 { c l a s s 3 ,    c l a s s 1 + c l a s s 2 } \{class3,\ \ class1+class2\} {class3,  class1+class2}，得到用于区分 $class3$ 的假设函数 $h_{\theta }^{(3)}(x)$，计算样本属于 $class3$ 的概率。

   
   最终，我们拟合得到三个分类器：
   $$h_{\theta }^{(i)}(x)=P(y=i|x;\theta ),(i=1,2,3)$$

将一个新样本分别使用这三个分类器进行计算，得到三个概率值：
$$\begin{array}{rl}P(y=1)& =h_{\theta }^{(1)}(x)\\ P(y=2)& =h_{\theta }^{(2)}(x)\\ P(y=3)& =h_{\theta }^{(3)}(x)\end{array}$$

我们只需要找到概率值最大的表达式对应的类别就可以将新样本分为对应的类，如 $P(y=1)=0.3,P(y=2)=0.8,P(y=3)=0.7$，那么该样本就分为第 $2$ 类。我们用表达式表示为：
$$\underset{i}{\max }{h}_{\theta }^{(i)}(x)$$

其表示 $h_{\theta }^{(i)}(x)$ 最大时对应的索引 $i$。

---

1. 求导过程：参考1 ，参考2 ↩︎