深度学习心得（1）

今天看了通用近似定理，有点猜想：（如果有大神看到并且能理解我说的话欢迎留言）

通用近似定理内容如下：一个前馈神经网络具有至少一个隐藏层，并且使用非线性激活函数，它就能逼近任何连续函数。

这个让我联想到了泰勒公式，因为泰勒公式所使用到的多次多项式本身就是非线性的。而这个非线性的公式能够拟合所有的函数。

而在神经网络的深度学习中，我们也是利用非线性的函数将中间量不断计算得到一层一层的中间量，不断拟合各种函数。非线性的函数常见的有：ReLU函数、SigMoid函数等

那么参照泰勒公式和深度学习中的计算过程，很难让人不怀疑通用近似定理其实就是泰勒公式的延伸，换句话说，泰勒公式其实也是用了一种比较特殊的非线性函数的神经网络，并以此来拟合任何想要拟合的函数。

正如李沐老师在深度学习课上所讲的，深度学习中的引入激活函数（必须为非线性函数），只是为了给神经网络引入非线性的性质，进而能够拟合所有需要拟合的数学模型。