Day9 神经网络的偏导数基础

多变量函数与神经网络

在神经网络中，我们经常遇到多变量函数。这些函数通常描述了网络的输入、权重、偏置与输出之间的关系。例如，一个简单的神经元输出可以表示为：

$$z=f(w_1{x}_1+w_2{x}_2+\dots +w_n{x}_n+b)$$

其中，$x_1,x_2,\dots ,x_n$ 是输入，$w_1,w_2,\dots ,w_n$ 是权重，$b$ 是偏置，$f$ 是激活函数，$z$ 是输出。这是一个典型的多变量函数，其自变量包括输入$x_i$、权重$w_i$和偏置$b$。

---

偏导数的概念与计算

偏导数是多元函数相对于其某一个自变量的导数，求导时保持其他自变量不变。对于函数$z=f(x,y)$，其关于$x$的偏导数定义为：

$$\frac{\partial z}{\partial x}=\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x,y)-f(x,y)}{\Delta x}$$

类似地，关于$y$的偏导数定义为：

$$\frac{\partial z}{\partial y}=\underset{\Delta y\to 0}{\lim }\frac{f(x,y+\Delta y)-f(x,y)}{\Delta y}$$

偏导数反映了函数在某一特定方向上的变化率。在神经网络中，我们特别关心损失函数$L$关于权重$w^{}$