python深度学习入门-从零构建CNN和RNN

第1章 基本概念

本章说明如何将数据函数表示为一系列连接在一起构成计算图的运算，并演示如何利用这种表示方法和微积分的链式法则，来计算函数的输出相对于其输入的导数

1.1. 导数

$$\frac{df}{dx}(a)=\underset{\Delta \to 0}{\lim }\frac{f\left(a+\Delta \right)-f\left(a-\Delta \right)}{2\ast \Delta }$$

1.2. 链式法则

$$f_2(f_1(x))=y$$
$$f_1(x)=u$$
$$\frac{d{f}_2}{dx}(x)=\frac{d{f}_2}{du}(f_1(x))\ast \frac{d{f}_1}{dx}(x)$$

1.3. 多输入函数的导数

$$f(x,y)=s$$
$$a=a(x,y)=x+y$$
$$s=\sigma (a)$$
$$\frac{\partial f}{\partial x}=\frac{\partial \sigma }{\partial u}(a(x,y))\ast \frac{\partial a}{\partial x}((x,y))=\frac{\partial }{\partial u}$$