深入理解吴恩达老师深度学习课程（01神经网络和深度学习 第二周）

1引言

    大家好，我是博主斌斌，一个27岁的java攻城狮，最近想转行人工智能，最近我发现了斯坦福大学吴恩达老师的深度学习微专业讲的特别好，不过可能还会有不少难以理解的地方。本人才疏学浅，想尽量将课程中的重要知识点用自己能够理解的方式记录下来，希望能够在帮助自己的同时也能够帮助别人。
    废话不多说了，这里给出免费的课程地址：

内容	链接
吴恩达深度学习	课程地址
深度学习上课内容	内容地址
深度学习课后作业	课后作业地址

2.1 二分类(Binary Classification)

    课程通过识别图片中是不是具有猫的例子，给我们讲解了一个二分类问题的例子。

那么计算机如何处理这个图片呢？

    例如对于一个64*64的图片，计算机将图片分解为红， 绿，蓝三个64*64的矩阵，很明显这是一个维度为（64,64,3）的三维矩阵。为了计算机能够更加方便的处理，我们将矩阵转化为一个一维向量作为输入，怎么转换呢？如下所示：

$$x=\left[\begin{array}{c}[红第1行{]}^T\\ ：\\ [红64行{]}^T\\ [绿第1行{]}^T\\ ：\\ [绿64行{]}^T\\ [蓝第1行{]}^T\\ ：\\ [蓝64行{]}^T\end{array}\right]\text{\hspace{1em}(矩阵表示)}$$
因此我们不难得出转换结果
$$x=\left[\begin{array}{c}红253\\ 231\\ ：\\ 202\\ 绿255\\ 134\\ ：\\ 94\\ 蓝255\\ 134\\ ：\\ 142\end{array}\right]\text{\hspace{1em}(矩阵表示)}$$

    好了，现在我们已经把一张图片完美的转换成为一个一维向量$x$，那么我的训练集有$m$张图片怎么表示呢？
    我们可以将这些图片都全部按照上述方法转换为一维向量$x^{(1)}，x^{(2)}，\dots \dots x^{(m)}$，然后再将他们组成一个矩阵$X=[x^{(1)},x^{(2)},...,x^{(m)}]$。
     同理，每张图片输入分类算法之后都有一个输出判断结果$y$，当y=1时候说明图片有猫，y=0没有猫。那么输出我们也做一个一维向量呗，因此有 $Y=[y^{(1)},y^{(2)},...,y^{(m)}]$
     于是就有了下边的公式定义。

2.1.1 符号定义(视频给出的)

$x$：表示一个$n_x$维数据，为输入数据，维度为$(n_x,1)$；
$y$：表示输出结果，取值为$(0,1)$；

$(x^{(i)},y^{(i)})$：表示第$i$组数据，可能是训练数据，也可能是测试数据，此处默认为训练数据；

$X=[x^{(1)},x^{(2)},...,x^{(m)}]$：表示所有的训练数据集的输入值，放在一个 $n_x\times m$的矩阵中，其中$m$表示样本数目;

$Y=[y^{(1)},y^{(2)},...,y^{(m)}]$：对应表示所有训练数据集的输出值，维度为$1\times m$。

2.2 逻辑回归(Logistic Regression)

    逻辑回归算法是一个线性算法，那么到底什么是逻辑回归呢？逻辑回归长这个样：
$$\hat{y}=w^{T}x+b$$

• $\hat{y}$表示输出估计值
• $w^T$表示特征权重
• $x$表示我们之前求得的图片的一维向量，也就是特征值
• b 表示偏差

    哈哈，是不是吓到你了，举个栗子吧，我们初中的时候都求解过这样的问题:

	已知两点(1,2) ,(2,6)，求经过这两点的直线方程。
	那么求解的过程应该如下：
	    假设直线方程为 y=ax+b
	    带入公式中可以得出：
	    a +b = 2
	    2a+b = 6
	    求解就可以得出 a = 4 ， b=-2 因此方程为
	    y=2x-2

    其实逻辑回归算法就是以上求解一元线性方程的推广，不过这里就不是给出两个点这么简单了，而是给出m个输入向量（图片），叫你设计一个模型，来估计输入的图片有没有猫。那么我可以假设这个模型的表达式为：
$$\hat{y}=w^{T}x+b$$
    通过上述例子是不是好理解多了，好，继续，由于我们的输入数值是0-255之间,$w^T$是一个待求解的系数矩阵，输出的数值为0-1之间的一个概率（概率大于1或者小于0都是没有意义的）。那么我们有什么办法保证输出在0-1之间呢？对了，聪明的你肯定想到了映射。也就是下面说的sigmoid函数。

2.1.1 sigmoid函数

    前边说到输出$y^i$的数值可能很大，因此我们需要将输出值映射到0-1的范围之内。在这里使用sigmoid函数进行映射，结果如下：
$$\sigma \left(z\right)=\frac{1}{1+e^{-z}}$$
该函数图片如下所示：

从图像可知该函数有如下性质：

1. z趋向无穷大时，函数值趋向1。
2. z=0时，函数值为0.5
3. z趋向无穷大时，函数值趋向0。
4. 该函数关于点（0，0.5）对称。

这就能够很好的将输出值映射到0-1之间了。

在上个视频中，我们讲了逻辑回归模型，这个视频里，我们讲逻辑回归的代价函数（也翻译作成本函数）。

2.3 逻辑回归的代价函数（Logistic Regression Cost Function）

现在我们来回顾下之前针对单个样本逻辑回归的过程：

1. 将输入图像向量化得到输入$X$矩阵。
2. 将X矩阵放入假设的方程中 $z=W^{T}X+b$
3. 将输出值z放入sigmoid函数$\sigma \left(z\right)=\frac{1}{1+e^{-z}}$
4. 得出最终的$\hat{y}。$

好了，如果我们实现了上述的过程，那么我们怎么评价预测的输出值$\hat{y}$与实际的分类结果$y$之间存在多少误差呢？视频中给出了损失函数（loss Function）来描述这个误差：
$$L\left(\hat{y},y\right)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
损失函数具有以下性质：
1.当$y=1$时损失函数$L=-\log (\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能大，因为sigmoid函数取值$[0,1]$，所以$\hat{y}$会无限接近于1。

2.当$y=0$时损失函数$L=-\log (1-\hat{y})$，如果想要损失函数$L$尽可能得小，那么$\hat{y}$就要尽可能小，因为sigmoid函数取值$[0,1]$，所以$\hat{y}$会无限接近于0。

单个样本的成本函数我们解决了，接下来要对输入的m个样本我们要计算成本函数怎么办呢？
很简单，我们对每个样本的成本函数求和，然后再除以m求平均值就好了，这个函数称为逻辑回归的代价函数：

$$J\left(w,b\right)=\frac{1}{m}\sum _{i=1}^{m}L\left({\hat{y}}^{(i)},y^{(i)}\right)=\frac{1}{m}\sum _{i=1}^m\left(-y^{(i)}\log {\hat{y}}^{(i)}-(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right)$$
注意：代价函数描述的是模型对m个输入样本的预测值y^与实际输出值y之间的误差的平均值。

2.4 梯度下降法（Gradient Descent）

    我们训练模型的目的，是要使得训练模型的输出值$\hat{y}$与实际标签$y$尽可能的接近。翻译成数学语言就是我们要不断的训练模型找到最佳的$w和b$，使得$J\left(w,b\right)$尽可能的小。
    对于J函数而言，我们就是要找到J函数的最小值。
    那么给你一个函数J如何找到它的最小值呢？下面就介绍梯度下降法：
    J函数图像如图所示，刚开始时候我们计算的J在红点的位置，目标是到达底部。可以想象小明在一个山坡上，山谷底部有个美女在等小明哟，然后怎么小明找到最快的下山路径呢？

小明肯定会这样走

那么走每一步的时候，小明怎么知道沿着哪个方向走是最快路径呢？？？我们知道沿着曲线的切线方向是函数变化最快的方向。而切线的斜率等于当前点的导函数的数值。因此对于J(w,b)，小明可以对w求J的偏导数，得出 w变化最快的方向。然后可以对b求J的偏导数，得出b变化最快的方向。两个方向确定了，下一步小明就知道怎么走了。因此有下边的公式：

1.$\alpha$表示学习速率，也就是小明一步走多远。
2.整个公式的解释就是 ：

    下一个点$w$的坐标 = 当前点w的坐标 - 步长$\alpha$ * $w变化最快的方向$
    下一个点$b$的坐标 = 当前点b的坐标 - 步长$\alpha$ * $b变化最快的方向$

    到这里斌斌相信你已经知道什么是梯度下降法了。到这里我只说了一步怎么走呀，啊喂，小明是要知道怎么走到山底呀，摔。

    骚年，一步你知道怎么走了，接下来就是重复做就好了是吧！于是小明为了见到美女，每一步都要对J求个导数，因此小明的慢慢长征路就成为了下边这个样子：


while（J>设定允许的最小误差）{

1. 将训练数据X输入模型求出预测值$\hat{y}=sigmoid(w^{T}X+b)$。
2. 求出代价函数$J(w,b)$。
3. J分别对w和b求偏导得出代价函数减小最快的方向。
4. 求出下一步的w,b。
5. 将w,和b更新到 $\hat{y}=sigmoid(w^{T}X+b)$ 中。

}

下图很好的描述了上述过程：

好了，到这里，相信大家已经知道什么是梯度下降法，怎么使用梯度下降法了。

2.6 求各个子式的导数

2.6.1 sigmiod函数的导数

下面我们求sigmiod函数的导数：
$$\sigma \left(z\right)=\frac{1}{1+e^{-z}}$$
$$\frac{\sigma \left(z\right)}{dz}=d(\frac{1}{1+e^{-z}})/dz$$
$$\frac{\sigma \left(z\right)}{dz}=\frac{1^{{}^{\prime }}(1+e^{-z})-1\ast (1+e^{-z}{)}^{{}^{\prime }}}{(1+e^{-z}{)}^2}$$
$$\frac{\sigma \left(z\right)}{dz}=\frac{-1\ast (-1)e^{-z}}{(1+e^{-z}{)}^2}$$
$$\frac{\sigma \left(z\right)}{dz}=\frac{e^{-z}}{(1+e^{-z}{)}^2}$$
$$\frac{\sigma \left(z\right)}{dz}=\frac{1}{(1+e^{-z})}\ast \frac{(1+e^{-z})-1}{(1+e^{-z})}$$
$$\frac{\sigma \left(z\right)}{dz}=\frac{1}{(1+e^{-z})}\ast (1-\frac{1}{(1+e^{-z})})$$
$$\frac{\sigma \left(z\right)}{dz}=\sigma (z)\ast (1-\sigma (z))$$

2.6.2 损失函数的导数

下面我们求损失函数的导数：
$$L\left(\hat{y},y\right)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$
为了表示方便，我们使用$A$来代替$\hat{y}$，公式重写如下：
$$L\left(A,y\right)=-y\log (A)-(1-y)\log (1-A)$$
$$\frac{dL\left(A,y\right)}{dA}=-y(\log (A){)}^{{}^{\prime }}-(1-y)(\log (1-A){)}^{{}^{\prime }}$$
$$\frac{dL\left(A,y\right)}{dA}=-y\ast \frac{1}{A}-(1-y)(1-A{)}^{{}^{\prime }}\ast \frac{1}{1-A}$$
$$\frac{dL\left(A,y\right)}{dA}=\frac{-y}{A}+\frac{1-y}{1-A}$$
$$\frac{dL\left(A,y\right)}{dA}=\frac{-y(1-A)+A(1-y)}{A(1-A)}$$
$$\frac{dL\left(A,y\right)}{dA}=\frac{-y+Ay+A-Ay}{A(1-A)}$$
$$\frac{dL\left(A,y\right)}{dA}=\frac{A-y}{A(1-A)}$$

2.6.3 损失函数对输入的导数

回顾一下训练过程：

1. 将输入图像向量化得到输入$X$矩阵。
2. 将X矩阵放入假设的方程中 $z=W^{T}X+b$
3. 将输出值z放入sigmoid函数$\sigma \left(z\right)=\frac{1}{1+e^{-z}}$
4. 得出最终的$\hat{y}。$
5. 令 A=$\hat{y}。$
6. 求出损失函数$L\left(A,y\right)=-y\log (A)-(1-y)\log (1-A)$

将A=$\sigma (z)$带入不难写出方程：
$$L\left(A,y\right)=-y\log (A)-(1-y)\log (1-A)$$
$$L\left(\sigma (z),y\right)=-y\log (\sigma (z))-(1-y)\log (1-\sigma (z))$$
根据链式求导法则有： $$\frac{dL\left(z,y\right)}{dz}=\frac{dL\left(A,y\right)}{dA}\ast \frac{dA}{dz}$$
之前我们已经求得了这两个式子的导数，注意这里 $A=\hat{y}=\sigma (z)$。
$$d\sigma \left(z\right)=\sigma (z)\ast (1-\sigma (z))$$
$$\frac{dL\left(A,y\right)}{dA}=\frac{A-y}{A(1-A)}$$

开始求：
$$\frac{dL\left(z,y\right)}{dz}=\frac{dL\left(A,y\right)}{dA}\ast \frac{dA}{dz}=\frac{A-y}{A(1-A)}\ast \sigma (z)\ast (1-\sigma (z))$$
由于A=$\hat{y}=\sigma (z)$，令A=$\sigma (z)$
$$\frac{dL\left(z,y\right)}{dz}=\frac{dL\left(A,y\right)}{dA}\ast \frac{dA}{dz}=\frac{\sigma (z)-y}{\sigma (z)\ast (1-\sigma (z))}\ast \sigma (z)\ast (1-\sigma (z))$$
$$\frac{dL\left(z,y\right)}{dz}=\sigma (z)-y$$

那么同理由 $z=w^{T}X+b$可知:
$$\frac{\partial z}{\partial w}=X$$
$$\frac{\partial z}{\partial b}=1$$
因此：
$$\frac{\partial L}{\partial w}=\frac{dL\left(z,y\right)}{dz}\ast \frac{\partial z}{\partial w}=X(\sigma (z)-y)$$
$$\frac{\partial L}{\partial b}=\frac{dL\left(z,y\right)}{dz}\ast \frac{\partial z}{\partial b}=\sigma (z)-y$$

2.6.4 代价函数对输入的偏导数

代价函数的定义为：
$$J\left(w,b\right)=\frac{1}{m}\sum _{i=1}^{m}L\left({\hat{y}}^{(i)},y^{(i)}\right)=\frac{1}{m}\sum _{i=1}^m\left(-y^{(i)}\log {\hat{y}}^{(i)}-(1-y^{(i)})\log (1-{\hat{y}}^{(i)})\right)$$
可见，代价函数只是损失函数的求和的平均值。因此有：
$$\frac{\partial J}{\partial w}=\frac{1}{m}X(A-Y{)}^T$$
$$\frac{\partial J}{\partial b}=\frac{1}{m}\sum _{i=1}^m(a^{(i)}-y^{(i)})$$

2.7 损失函数的推导

     接下来我们要证明为什么损失函数长这个样子：
$$L\left(\hat{y},y\right)=-y\log (\hat{y})-(1-y)\log (1-\hat{y})$$

     在逻辑回归中，需要预测的结果$\hat{y}$,可以表示为$\hat{y}=\sigma (w^{T}x+b)$，$\sigma$是我们熟悉的$S$型函数 $\sigma (z)=\sigma (w^{T}x+b)=\frac{1}{1+e^{-z}}$ 。

;我们约定 $$p(y=1|x)=\hat{y}$$
    上式即算法的输出$\hat{y}$ 是给定训练样本 $x$ 条件下 $y$ 等于1的概率。
    由于这是一个二分类问题，也就是说训练结果y只能等于0或者等于1，因此有：
$$p(y=0|x)=1-\hat{y}$$
接下来可不可以用一个公式表示这两个条件概率呢？可以合成下边的公式：

$$p(y|x)={\hat{y}}^y{(1-\hat{y})}^{(1-y)}$$

为什么呢，下边将y=1和y=0分别带入就知道了：

1. 第一种情况，假设 $y=1$，由于$y=1$，那么${(\hat{y})}^y=\hat{y}$，因为 $\hat{y}$的1次方等于$\hat{y}$，$1-{(1-\hat{y})}^{(1-y)}$的指数项$(1-y)$等于0，由于任何数的0次方都是1，$\hat{y}$乘以1等于$\hat{y}$。因此当$y=1$时 $p(y|x)=\hat{y}$。

2. 第二种情况，当 $y=0$ 时 $p(y|x)$ 等于多少呢? 假设$y=0$，$\hat{y}$的$y$次方就是 $$\hat{y}$$ 的0次方，任何数的0次方都等于1，因此 $p(y|x)=1\times {(1-\hat{y})}^{1-y}$ ，前面假设 $y=0$ 因此$(1-y)$就等于1，因此 $p(y|x)=1\times (1-\hat{y})$。因此在这里当$y=0$时，$p(y|x)=1-\hat{y}$。

$p(y|x)={\hat{y}}^y{(1-\hat{y})}^{(1-y)}$

因此，刚才的推导表明 $p(y|x)={\hat{y}}^{(y)}{(1-\hat{y})}^{(1-y)}$，就是 $p(y|x)$ 的完整定义。由于 log 函数是严格单调递增的函数，最大化 $log(p(y|x))$ 等价于最大化 $p(y|x)$ 并且地计算 $p(y|x)$ 的 log对数，就是计算 $log({\hat{y}}^{(y)}{(1-\hat{y})}^{(1-y)})$ (其实就是将 $p(y|x)$ 代入)，通过对数函数化简为：

$ylog\hat{y}+(1-y)log(1-\hat{y})$

而这就是我们前面提到的损失函数的负数 $(-L(\hat{y},y))$ ，前面有一个负号的原因是当你训练学习算法时需要算法输出值的概率是最大的（以最大的概率预测这个值），然而在逻辑回归中我们需要最小化损失函数，因此最小化损失函数与最大化条件概率的对数 $log(p(y|x))$ 关联起来了，因此这就是单个训练样本的损失函数表达式。

在 $m$个训练样本的整个训练集中又该如何表示呢，让我们一起来探讨一下。

让我们一起来探讨一下，整个训练集中标签的概率，更正式地来写一下。假设所有的训练样本服从同一分布且相互独立，也即独立同分布的，所有这些样本的联合概率就是每个样本概率的乘积:

$P\left(\text{labels in training set}\right)={\prod }_{i=1}^{m}P(y^{(i)}|x^{(i)})$。

如果你想做最大似然估计，需要寻找一组参数，使得给定样本的观测值概率最大，但令这个概率最大化等价于令其对数最大化，在等式两边取对数：

$$logp\left(\text{labels in training set}\right)=log\prod _{i=1}^{m}P(y^{(i)}|x^{(i)})=\sum _{i=1}^{m}logP(y^{(i)}|x^{(i)})=\sum _{i=1}^m-L({\hat{y}}^{(i)},y^{(i)})$$

在统计学里面，有一个方法叫做最大似然估计，即求出一组参数，使这个式子取最大值，也就是说，使得这个式子取最大值，${\sum }_{i=1}^m-L({\hat{y}}^{(i)},y^{(i)})$，可以将负号移到求和符号的外面，$-{\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$，这样我们就推导出了前面给出的logistic回归的成本函数$J(w,b)={\sum }_{i=1}^{m}L({\hat{y}}^{(i)},y^{\widehat{(}i)})$。

由于训练模型时，目标是让成本函数最小化，所以我们不是直接用最大似然概率，要去掉这里的负号，最后为了方便，可以对成本函数进行适当的缩放，我们就在前面加一个额外的常数因子$\frac{1}{m}$，即:$$J(w,b)=\frac{1}{m}\sum _{i=1}^{m}L({\hat{y}}^{(i)},y^{(i)})$$

总结一下，为了最小化成本函数$J(w,b)$，我们从logistic回归模型的最大似然估计的角度出发，假设训练集中的样本都是独立同分布的条件下。