高等数学-导数

转载请注明出处: http://blog.youkuaiyun.com/sinat_34857341/article/details/78482703

定义

设函数 $y=f(x)$ 在点 $x_0$ 的某个邻域内有定义，当自变量 $x$ 在 $x_0$ 处有增量 $Δx$ (点 $x_0 + Δx$ 仍也在该邻域内时 )，相应的函数取得增量 $Δy=f(x_0+Δx)-f(x_0)$；如果 $Δy$ 与 $Δx$ 之比当 $Δx→0$ 时极限存在，则称函数 $y=f(x)$ 在点 $x_0$ 处可导，并称这个极限为函数$y=f(x)$ 在点 $x_0$ 处的导数记作 $f’(x)$,

$$f’(x) = \lim_{Δx\to 0}\frac{f(x+Δx) - f(x)}{Δx}$$

也可以记为: $y '\mid{ x=x_0}$ 或者 $\frac{df(x)}{dx} \mid _{x = x_0}$

---

求导法则

如果函数 $u = u(x)$ 及 $v = v(x)$ 都在 $x$ 可导, 那么 他们的 和、差、积、商(除分母为零的点外)都在 $x$ 具有导数

• ${[u(x) \pm v(x)]'} = u'(x) \pm v'(x)$

• ${[u(x) v(x)]'} = u'(x)v(x) + u(x)v'(x)$

• ${[\frac{u(x)}{v(x)}]'} = \frac{u'(x)v(x) - u(x)v'(x)}{u^2{x}}$　$v(x) \neq 0$

---

复合函数的求导法则

如果 $u = g(x)$ 在点 $x$可导， 而 $y = f(u)$ 在点 $u = g(x)$ 可导，则复合函数 $y = f{[g(x)]} 在点$x$可导，且其导数为:

$$\frac{dy}{dx} = f'(u)\cdot g'(x)　或 　\frac{dy}{dx} = \frac{dy}{du} \cdot \frac{du}{dx}$$

---

常数和基本初等函数的求导公式

(1) 　$(C)' = 0$ 　 　(C 是常数)

(2) 　$(x^u)' = ux^{u-1}$

(3) 　$(a^x)' = a^x \cdot \ln a$ 　 　

(4) 　$(e^x)' = e^x$

(5) 　$({{\log}_a}x)' = \frac{1}{x \cdot \ln a}$ 　 　

(6) 　$(\ln x)' = \frac{1}{x}$

(7) 　$(\sin x)' = \cos x$

(8) 　$(\cos x)' = -\sin x$

(9) 　$(\tan x)' = {\sec}^2 x$

(10) 　$(\cot x)' = -{\csc}^2 x$

(11) 　$(\sec x)' = \sec x \cdot \cot x$

(12) 　$(\csc x)' = -\csc x \cdot \cot x$

---

sigmoid 函数求导

函数定义如下:

$$f(z) = \begin{align} \frac{1}{1 + e^{-z}} \end{align}$$

这是一个典型的复合函数，可将其分解为:

$$\begin{cases} u = -z \\ v = e^u = e^{-z} \\ w = 1 + v = 1 + e^{-z} \\ f(z) = \frac{1}{w} = \frac{1}{1 + e^{-z}} \end{cases}$$

那么，求解

$$\begin{cases} \frac{df(z)}{dw} &= -\frac{1}{w^2} \\ \frac{dw}{dv} &= 1 \\ \frac{dv}{du} &= e^u \\ \frac{du}{dz} &= -1 \end{cases}$$

则最终解:

$$\begin{align} f'(x) & = \frac{df(z)}{dw} \cdot \frac{dw}{dv} \cdot \frac{dv}{du} \cdot \frac{du}{dz} \\ & = -\frac{1}{w^2} \cdot 1 \cdot e^u \cdot (-1) \\ & = \frac{e^u}{w^2}\\ &= \frac{e^{-z}} {(1 + e^{-z})^2} \\ & = \frac{1} {1 + e^{-z}} \cdot \frac{e^{-z}} {1 + e^{-z}} \\ & = \frac{1} {1 + e^{-z}} \cdot \frac{1 + e^{-z} - 1} {1 + e^{-z}} \\ & = \frac{1} {1 + e^{-z}} \cdot {(1 - \frac{1} {1 + e^{-z}})} \\ & = f(z) * (1 - f(z)) \end{align}$$

通过求解，我们可以得到sigmoid导数:

$$f'(z) = f(z) \cdot {(1 - f(z))}$$

完毕

---

tanh x 函数求导

函数定义如下:

$$f(x) = \frac{e^{x} - e^{-x}}{e^{x} + e^{-x}}$$

根据对应的求导法则:

$$\begin{align} f'(x) & = \frac{(e^{x} - e^{-x})'(e^{x} + e^{-x}) - (e^{x} - e^{-x})(e^{x} + e^{-x})'} {(e^{x} + e^{-x})^2} \\ & = \frac{(e^{x} + e^{-x})(e^{x} + e^{-x}) - (e^{x} - e^{-x})(e^{x} - e^{-x})} {(e^{x} + e^{-x})^2} \\ & = 1 - (\frac{e^{x} - e^{-x}}{e^{x} + e^{-x}})^2\\ & = 1 - {f(x)}^2 \end{align}$$

通过求解，我们可以得到tanh x导数:

$$f'(x) = 1 - {f(x)}^2$$

完毕

---

Relu 函数

函数定义如下:

$$f(x) = max(0, x)$$

可将其分解:

$$f(n) = \begin{cases} x, & \text{if x >= 0 } \\[2ex] 0, & \text{if x < 0} \end{cases}$$

可以分别分解来求导:

当 $x >= 0$ 时:

$$\begin{align} f'(x) & = 1 \end{align}$$

当 $x < 0$ 时:

$$\begin{align} f'(x) & = 0 \end{align}$$

通过求解，我们可以得到tanh x导数:

$$f'(x) = \begin{cases} 1, & \text{if x >= 0 } \\[2ex] 0, & \text{if x < 0} \end{cases}$$

完毕