深度学习中的数学理论与方法-lesson01

系列文章目录

lesson01

---

---

一、前言

深度学习是基于人工神经网络的机器学习方法子集。其中“深度”指的是网络具有多层的特性。简单的来说，深度学习=用深度神经网络进行数学学习。下面我们从傅里叶级数及其导数开始引入。

二、傅里叶级数的例子

深度学习做的是什么，无非就是在一个函数族中找到满足条件的函数（这个函数并不一定唯一在深度学习中，本节后面有例子说明）来逼近背后的规律。那么这个函数族我们将其称为模型，或者叫假设空间。例如线性模型就是一个假设空间，该空间就是所有满足条件的线性函数组成的一个函数族。下面我就从实值有限傅里叶级数开始：其定义为下面的函数族：
$$\begin{array}{rl}{\mathcal{F}}_N& =\left\{f(x)=a_0+\sum _{n=1}^N{a}_{n}cos(nx)+b_{n}sin(nx):a_0,a_n,b_n\in \mathbb{R},1\le n\le N\right\}\end{array}$$
这也是一个假设空间。其中$N$为固定整数，并且${\mathcal{F}}_N$中的函数周期都为$2\pi$,所有的 { 1 ， c o s ( n x ) , s i n ( n x ) } \left \{ 1，cos(nx),sin(nx) \right \} { 1，cos(nx),sin(nx)}在其中都扮演了基函数的作用；系数$a_0,a_1,b_1,...,a_N,b_N$都是任意的，称为自由参数，在深度学习中就是我们要优化学习的，如果自由参数$a_0,a_1,b_1,...,a_N,b_N$固定，显然$f(x)$就也是固定的，或者我们可以说$f(x)$完全由自由参数确定。
记 θ = { a 0 , a 1 , b 1 , . . . , a N , b N } \theta =\left \{ a_0,a_1,b_1,...,a_N,b_N \right \} θ={ a0​,a1​,b1​,...,aN​,bN​}为所有自由参数组成的有序集合，那么我们可以将$f(x)$重写为$f(x;\theta )$,表示其对$\theta$的依赖性，并且由于这里是基函数的线性组合，是线性模型，在这种情况下这种依赖性是唯一的。也就是说，对与${\theta }_1,{\theta }_2$这两个自由参数集合，如果$f(x;{\theta }_1)=f(x;{\theta }_2)$对所有的$x$都成立，那么必有${\theta }_1={\theta }_2$
另外，在傅立叶级数的结构中，基函数 { 1 ， c o s ( n x ) , s i n ( n x ) } \left \{ 1，cos(nx),sin(nx) \right \} { 1，cos(nx),sin(nx)}总是固定的，只有基函数的系数是变量，也就是说，所有傅立叶级数都是基函数的线性组合，在这个意义下，我们可以把所有的${\mathcal{F}}_N$看成是一个关于自由参数的线性结构。其他的线性结构还要包括多项式，有限元函数，小博级数等。
但是在深度学习的神经网络中，神经网络相对于自由参数是非线性结构的。典型的例子就是直接取消基函数的固定，以上述的${\mathcal{F}}_N$就是将其中的$cos(nx),sin(nx)$中的波数$n$替换为自由参数$w_n,v_n$，然后我们就有了下面的函数族：
S N = { ϕ ( x