机器学习应用数学基础-微分下

多元函数

$$y=f(x_1,x_2,...,x_n)$$

• n维空间下的两点距离：$d=\sqrt{(x_1-z_1{)}^2+(x_2-z_2{)}^2+...+(x_n-z_n{)}^2}$
• 极限：$A={\lim }_{x->x_0}f(x)$
• 连续：$A=f(x_0)={\lim }_{x->x_0}f(x)$

---

偏导数

1. 定义
   研究$y=f(x_1,x_2,...,x_n)$的极值，将除了一个未知量$x_i$外的所有变量固定：${\lim }_{x->x_i^0}\frac{f(x_1^0,x_2^0,...,x_i,...,x_a^0)-f(x_1^0,x_2^0,...,x_i^0,...,x_a^0)}{x_i-x_i^0}=\frac{\partial f(x_i)}{\partial x_i}$
2. 含义
   相当于只研究多维的函数关系中的某一个自变量和因变量的关系，图像上将多维的图像降维成平面图像

---

方向导数

1. 定义
   函数f(x)朝向某个方向的变化速度

• 方向的表示：假设方向为1，以三维举例：
  

$$1=\sqrt{x^2+y^2+z^2}$$
$$cos{\theta }_x=x;cos{\theta }_y=y;cos{\theta }_z=z$$
$$向量v的表达方式=(cos{\theta }_x,cos{\theta }_y,cos{\theta }_z)$$

2. 数学表达
   $$\underset{t->0}{\lim }\frac{f(tv+x_0)-f(x_0)}{t}$$
3. 含义
   相当于在某一个方向上的图像切片，将多维图像降维成以方向为自变量的平面函数

---

可微

• 可微<=>偏导数存在且连续
  $$\sum _{i=1}^n{A}_i\Delta x_i+o(|\Delta x|)$$
• 存在各个方向的一阶偏导

---

梯度

$\frac{\partial f(x_0)}{\partial v}={\lim }_{t->0}\frac{f(x_0+tv)-f(x_0)}{t}={\lim }_{t->0}\frac{\sum \frac{\partial f(x_0)}{\partial x_i}t\cos {\theta }_i+o(|t|)}{t}=\sum \frac{\partial f}{\partial x_i}cos{\theta }_i$

1. 定义
   向量$\sum \frac{\partial f}{\partial x_i}=(\frac{\partial f}{\partial x_1},\frac{\partial f}{\partial x_2},...,\frac{\partial f}{\partial x_n})称之为梯度，决定了所有方向上的导数取值$

---

链式法则

$\frac{\partial y}{\partial x_1}=(\frac{\partial f}{\partial u_1}.\frac{\partial u_1}{\partial x_1}+\frac{\partial f}{\partial u_2}.\frac{\partial u_2}{\partial x_1}+...+\frac{\partial f}{\partial u_n}.\frac{\partial u_n}{\partial x_1})$