【李宏毅ML/DL】机器学习笔记，pytorch tutorials

Machine Learning and Deep Learning

ML的目标

寻找一个函数，一个解决问题的函数

函数的类别

Regression：函数的输出是一个标量。比如预测明天的PM2.5指数。

Classificatin：给出类别，函数输出是定位的类别。比如预测邮件是否是骚扰邮件。图像识别。

举例：以老师Youtube每天的播放量为数据集进行学习，预测以后每天的播放量。

1.定义函数

比如今天是2月25号，那么这个函数要解决的问题就是预测2月26号的播放量（日期不关键）：
$$y=f(no.ofviewson2/25)$$
先猜一个：

Model $y=b+w{x}_1$

当然这里只是从简单的开始，做这些猜测是需要一定的背景知识的，你可以不知道确切的是什么，但你一定得知道不是什么，比如这里平闰年2月的日子不一样，过节的时候可能播放量会下降。

参数解释：

$y$: no. of views on 2/26

$x_1$: no of views on 2/25

$w$ and $b$ are unknown parameters (learned from data)

$w$: weight

$b$: bias

其中$x_1$是已知量，成为 feature

而$w$和$b$是未知量，称为 weight和bias，之后再解释。

2.定义Loss Function

Loss Function 是参数的函数：$L(b,w)$简称LBW，用来反应参数的质量

比如：$L(0.5k,1)=0.5k+1x_1$: 5.4k，而真正在这一点的值如果是$\hat{y}$: 7.5k，这个$\hat{y}$称为 Label。

那么误差：$e_2=|y-\hat{y}|=2.1k$，就这样，可以将每天的误差算出：

Loss: $L=\frac{1}{N}\sum _n{e}_n$

$e=|y-\hat{y}|$这种计算误差的方法叫做mean absolute error（MAE，平均绝对误差）

当然也可以相减再取平方：$e=(y-\hat{y}{)}^2$，这种方法叫做mean square error（MSE，均方差）

根据需求和理解来选取。

经过穷举计算很多的$w$和$b$之后形成的图像称为 Error Surface：

红色表示Loss大，蓝色表示Loss小

3.优化

找到一组$w^{\ast }$和$b^{\ast }$=$arg\underset{w,b}{\min }L$。

方法叫做 Gradient Descent (GD)

• 初始时随机找一个点$w^0$，$b^0$
• 计算微分：$\frac{\partial L}{\partial w}{|}_{w=w^0}$，$\frac{\partial L}{\partial b}{|}_{b=b^0}$梯度为正，反向前进，否则正向前进，这就是下降
• 前进步伐为： $\eta \frac{\partial L}{\partial w}{|}_{w=w^0}$ ，$\eta \frac{\partial L}{\partial b}{|}_{b=b^0}$其中$\eta$称为 learning rate学习率，是一个参数，而这种在ML中要人为设定的参数称为 hyperparameters超参数。在这个例图中Loss出现负值，Loss是自己定义的，可以定义为负。
• $w^1=w^0-\eta \frac{\partial L}{\partial w}{|}_{w=w^0}$，$b^1=b^0-\eta \frac{\partial L}{\partial b}{|}_{b=b^0}$，$w^1$，$b^1$就是下一次下降的$w$和$b$，进行迭代
• 可以设定更新多少次停止，次数就是一个hyperparamter，也有可能梯度为0，停止迭代。

GD的问题？

如果随机一个位置开始梯度下降，有可能遇到local mininma，没有到达global minima。

但这只是个小问题，因为还有更难的问题。

选函数，定义损失函数和优化叫做训练。

训练结果函数，与训练集的误差是$L=0.48k$，真正用于预测2021年的误差是$L^{{}^{\prime }}=0.58k$

预测的并不是很准阿，因为我们对问题的理解不好，对预测的结果进行分析发现，只用前一天的数据进行分析并不够，每一周的结果相差比较多，那我们把一周的数据拿来进行建模：

$y=b+\sum _{j=1}^7{w}_j{x}_j$

在训练资料上得到$L=0.38k$，在预测上$L^{{}^{\prime }}=0.49k$

按照这个思路，那么前28天，前56天

$y=b+\sum _{j=1}^{28}{w}_j{x}_j$

$y=b+\sum _{j=1}^{56}{w}_j{x}_j$

结果会更好一些，但是已经达到了极限。

非线性的模型

之前的预测函数都是线性的，但是有可能今天播放量高，第二天就不会那么高。线性模型会出现 Model Bias。我们需要一个更复杂的函数：

拟合这个红色的复杂曲线，只需要一族这样的蓝色曲线。

如果是平滑曲线，可以采样连接成为红色曲线再进行操作。

那么这些蓝色的函数该如何实现：使用激活函数sigmoid

$y=sigmoid(x)=\frac{1}{1+e^{-x}}$

将整个实数域映射到$(-1,1)$

求极限$\underset{x\to -\infty }{\lim }sigmoid(x)=0$，$\underset{x\to +\infty }{\lim }sigmoid(x)=1$，所以该函数有两条水平渐进线$y=0,y=1$

$y^{{}^{\prime }}=\frac{e^{-x}}{(1+e^{-x}{)}^2}=S(x)(1-S(x))>0$单调递增

对于上面的带参数sigmoid：

$y^{{}^{\prime }}=cwsigmoi{d}^{{}^{\prime }}(b+w{x}_1)$

那么原来的红色曲线就可以这样表示：

$y=b+\sum _i{c}_{i}sigmoid(b_i+w_i{x}_i)$这样的模型更有弹性，减少了 Model Bias

还可以再继续拟合，整个的发展过程：

$y=b+w{x}_i$

$y=b+\sum _i{c}_{i}sigmoid(b_i+w_i{x}_i)$

$y=b+\sum _j{w}_j{x}_j$

$y=b+\sum _i{c}_{i}sigmoid(b_i+\sum _j{w}_{ij}{x}_j)$相当于先将前j天拟合再通过i段sigmoid拟合，相关性更强，更合理

用线代知识简化一下表达式：

$y=b+\sum _i{c}_{i}sigmoid(b_i+\sum _j{w}_{ij}{x}_j)$ $$\begin{gathered} i:1,2,3 \\ j:1,2,3 \end{gathered}$$

$$\begin{gathered} r1=b_1+w_{11}{x}_1+w_{12}{x}_2+w_{13}{x}_3 \\ r2=b_2+w_{21}{x}_1+w_{22}{x}_2+w_{23}{x}_3 \\ r3=b_3+w_{31}{x}_1+w_{32}{x}_2+w_{33}{x}_3 \end{gathered}$$
$$\left[\begin{array}{c}{r}_1\\ r_2\\ r_3\end{array}\right]=\left[\begin{array}{c}{b}_1\\ b_2\\ b_3\end{array}\right]+\left[\begin{array}{ccc}{w}_{11}& w_{12}& w_{13}\\ w_{21}& w_{22}& w_{23}\\ w_{31}& w_{32}& w_{33}\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right]$$
从而r = b+ Wx

简化成这样：

$\sigma (r)$就是$sigmoid(r)$函数族构成的列向量

上面的圆圈圈着的sigmoid就是一个神经元 neuron

所有未知参数通过将其行（列）向量取出拼接为一个叫做$\mathbf{\theta }$的列向量：

这时的优化就是对$\theta$的优化：

${\mathbf{\theta }}^{\ast }=arg\underset{\mathbf{\theta }}{\min }L\mathbf{\theta }=\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ {\theta }_3\\ ⋮\end{array}\right]$

• 随机挑选一个初值${\mathbf{\theta }}^0$

• 计算梯度$\underset{\mathbf{g}\mathbf{r}\mathbf{a}\mathbf{d}\mathbf{i}\mathbf{e}\mathbf{n}\mathbf{t}\mathbf{s}}{g}=\left[\begin{array}{c}\frac{\partial L}{\partial {\theta }_1}{|}_{\theta ={\theta }_0}\\ \frac{\partial L}{\partial {\theta }_2}{|}_{\theta ={\theta }_0}\\ ⋮\end{array}\right]$ ，$\left[\begin{array}{c}{\theta }_1^1\\ {\theta }_2^1\\ ⋮\end{array}\right]\leftarrow \left[\begin{array}{c}{\theta }_1^0\\ {\theta }_2^0\\ ⋮\end{array}\right]-\left[\begin{array}{c}\eta \frac{\partial L}{\partial {\theta }_1}{|}_{\theta ={\theta }^0}\\ \eta \frac{\partial L}{\partial {\theta }_2}{|}_{\theta ={\theta }^0}\\ ⋮\end{array}\right]$

  $\mathbf{g}=\nabla L({\theta }^0)$

  梯度下降

  ${\mathbf{\theta }}^1\leftarrow {\mathbf{\theta }}^0-\eta \mathbf{g}$

• 重复计算梯度和梯度下降

而实际上如果使用全部资料进行训练，电脑的硬件是跟不上的，一般是选用其中的一部分，这个工作是在进行训练前就完成的，你会在pytorch中看到加载数据函数参数中有batch，每次训练就是用batch这么多的数据进行梯度的计算。计算一个batch后叫一个update将所有batch都计算过一遍叫做一个epoch

batchsize也是一个hyperparameter。在一个epoch中更新次数由batchsize决定。

Sigmoid $\to$ ReLU

ReLU：Rectified Linear Unit修正先行单元，线性整流函数，也是一个激活函数。

在这里用的是带系数的带之前的几天的拟合形式：

$y=b+\sum _{2i}{c}_{i}max(0,b_i+\sum _j{w}_{ij}{x}_j)$
每一个圆圈就是一个神经元（neuron）每一层神经元就是一层（layer）

Pytorch tutorial