【神经网络和深度学习】学习笔记

---

神经网络基础

神经网络的计算过程中，通常有一个正向过程（正向传播步骤）计算损失函数，接着会有一个反向过程（反向传播步骤）计算神经网络中损失函数对各参数的梯度，配合优化方法更新参数，降低损失函数。

1. 二分分类

对于二分分类问题，其目标是训练出一个分类器。它以特征向量 $x$ 作为输入，预测输出的结果标签 $y$（1或者0）。

用$(x，y)$表示一个单独的样本，其中，$x\in R^{n_x}$，$n_x$为特征值的个数，y∈{0,1}y \in\{0,1\}y∈{0,1}。训练集（training sets）由$m$个训练样本构成——$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}$。

2. 逻辑回归

一种用在输出为0和1的二分分类问题的监督学习中的学习算法。其目标为最小化预测值与训练值之间的误差。

给出特征向量$x\in R^{n_x}$以及逻辑回归的参数$w\in R^{n_x}$和b，旨在得出一个预测值$\hat{y}=w^{T}x+b$（$\hat{y}$是一个概率，$\hat{y}=P(y=1|x)$）。为使$0\le \hat{y}\le 1$，令$\hat{y}=\sigma （w^{T}x+b）$，其中，$\sigma (z)=\frac{1}{1+e^{-z}}$。

给出$\{(x^{(1)},y^{(1)}),(x^{(2)},y^{(2)}),...,(x^{(m)},y^{(m)})\}$，为了训练参数w和b，使得：${\hat{y}}^{(i)}\approx y^{(i)}$，需要定义一个损失函数，且使得该损失函数最小。

2.1 Loss（Error）function

被用作衡量单个训练样本的误差。$$\mathcal{L}(\hat{y},y)=-[y\log (\hat{y})+(1-y)\log (1-\hat{y})]$$

2.2 Cost function

计算整体训练集的平均损失。最终需要找到使$J(w,b)$最小的参$w$和$b$。$$J(w,b)=\frac{1}{m}\sum _{i=1}^m\mathcal{L}({\hat{y}}^{(i)},y^{(i)})=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log ({\hat{y}}^{(i)})+(1-y^{(i)})\log (1-{\hat{y}}^{(i)})](凸函数)$$

使得损失函数最小，获得回归系数的算法有：

• 梯度下降法
• 牛顿迭代算法
• 拟牛顿迭代算法（BFGS算法和L-BFGS算法）

2.3 梯度下降法

为得到最小的损失函数值，对w求偏导，并使其偏导为0，然后用随机梯度下降法求解方程组。梯度下降w的更新过程，走梯度方向的反方向：
$${\theta }_{\mathrm{j}}:={\theta }_{\mathrm{j}}-\alpha \frac{\delta \mathrm{J}\left(\mathrm{w}\right)}{\delta \mathrm{w}}$$
$\alpha$代表学习率，学习率可以控制每一次迭代或者梯度下降法中的步长。
其中：
$$\frac{\delta }{\delta \mathrm{w}}\mathrm{J}\left(\mathrm{w}\right)=-\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}({\mathrm{y}}^{(\mathrm{i})}\frac{1}{{\hat{\mathrm{y}}}^{(\mathrm{i})}}\frac{\delta }{\delta \mathrm{w}}{\hat{\mathrm{y}}}^{(\mathrm{i})}-(1-{\mathrm{y}}^{(\mathrm{i})})\frac{1}{1-{\hat{\mathrm{y}}}^{(\mathrm{i})}}\frac{\delta }{\delta \mathrm{w}}{\hat{\mathrm{y}}}^{(\mathrm{i})})$$
$$=-\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}({\mathrm{y}}^{(\mathrm{i})}\frac{1}{{\hat{\mathrm{y}}}^{(\mathrm{i})}}-(1-{\mathrm{y}}^{(\mathrm{i})})\frac{1}{1-{\hat{\mathrm{y}}}^{(\mathrm{i})}})\frac{\delta }{\delta \mathrm{w}}\sigma （w^T{x}^i）$$
$$=-\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}[{\mathrm{y}}^{(\mathrm{i})}\frac{1}{{\hat{\mathrm{y}}}^{(\mathrm{i})}}-(1-{\mathrm{y}}^{(\mathrm{i})})\frac{1}{1-{\hat{\mathrm{y}}}^{(\mathrm{i})}}]\sigma ({\mathrm{w}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{i}})(1-\sigma ({\mathrm{w}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{i}}))\frac{\delta }{{\delta \mathrm{w}}_{\mathrm{j}}}{\mathrm{w}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{i}}$$
$$=-\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}[{\mathrm{y}}^{(\mathrm{i})}(1-\sigma ({\mathrm{w}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{i}}))-(1-{\mathrm{y}}^{(\mathrm{i})})\sigma ({\mathrm{w}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{i}})]{\mathrm{x}}_{{}^{\mathrm{j}}}^{\mathrm{i}}$$
$$=-\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}[{\mathrm{y}}^{(\mathrm{i})}-\sigma ({\mathrm{w}}^{\mathrm{T}}{\mathrm{x}}^{\mathrm{i}})]{\mathrm{x}}_{{}^{\mathrm{j}}}^{\mathrm{i}}$$
$$=\frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}[{\hat{\mathrm{y}}}^{(\mathrm{i})}-{\mathrm{y}}^{(\mathrm{i})}]{\mathrm{x}}_{{}^{\mathrm{j}}}^{\mathrm{i}}$$
因此，
$${\theta }_j:={\theta }_j-\alpha \frac{1}{\mathrm{m}}\sum _{\mathrm{i}=1}^{\mathrm{m}}[{\hat{\mathrm{y}}}^{(\mathrm{i})}-{\mathrm{y}}^{(\mathrm{i})}]{\mathrm{x}}_{{}^{\mathrm{j}}}^{\mathrm{i}}$$