深度学习入门5——为什么神经网络可以学习？

在理解神经网络的可学习性之前，需要先从数学中的导数、数值微分、偏导数、梯度等概念入手，从而理解为什么神经网络具备学习能力。

1.数值微分的定义

先从导数出发理解什么是梯度。某一点的导数直观理解就是在该点的切线的斜率。在数学中导数表示某个瞬时的变化量，如下公式表示：

上述利用微小的差分求导数的过程称为数值微分（numerical differentiation），公式（1）表示的是前向差分（f(x+h)-f(x)），因为h无法无限趋近于0，所以存在误差（如下图所示）。为了减小这种数值微分误差，可以用中心差分（f(x+h)-f(x-h)）减小误差。

2.数值微分的例子

以下面这个二次函数为例，对其数在x = 5和x = 10处进行求导。

import numpy as np
import matplotlib.pylab as plt

def numerical_diff(f, x):
    h = 1e-4 # 0.0001
    return (f(x+h) - f(x-h)) / (2*h)  # 中心差分

def function_1(x):
    return 0.01*x**2 + 0.1*x 

def tangent_line(f, x):
    d = numerical_diff(f, x)
    print(d)  # 0.1999999999990898  0.2999999999986347
    y = f(x) - d*x
    return lambda t: d*t + y
    #该函数首先调用numerical_diff函数来计算函数f在点x处的导数d，然后根据切线的方程 y = ax + b 中的斜率和截距来计算切线的斜率d和截距y。最后返回一个匿名函数，该函数接受一个参数 t，并返回切线上在 t 处的函数值。
x = np.arange(0.0, 20.0, 0.1)
y = function_1(x)
plt.xlabel("x")
plt.ylabel("f(x)")

tf1 =&n