数学基础

二次型

设$P$为数域，$a_{ij}\in P,i,j=1,2,\cdots ,n$，$n$个文字$x_1,x_2,\cdots ,x_n$的二次齐次多项式
$$\begin{gathered} f(x_1,x_2,\cdots ,x_n)=a_{11}{x}_1^2+2a_{12}{x}_1{x}_2+\cdots +2a_{1n}{x}_1{x}_n+ \\ {a}_{22}{x}_2^2+\cdots +2a_{2n}{x}_2{x}_n+ \\ {a}_{33}{x}_3^2+\cdots +2a_{3n}{x}_3{x}_n+ \\ \cdots +\cdots +a_{nn}{x}_n^2 \\ =\sum _{i=1}^n\sum _{j=1}^n{a}_{ij}{x}_i{x}_j \end{gathered}$$称为数域$P$上的一个$n$元二次型

约定$a_{ij}=a_{ji},i<j$，由$x_i{x}_j=x_j{x}_i$

$X^{T}AX$

矩阵$A$称为二次型矩阵

二次型的标准形
二次型$f(x_1,x_2,\cdots ,x_n)$，经过非退化线性替换所变成的平方和形式$$d_1{y}_1^2+d_2{y}_2^2+\cdots +d_n{y}_n^2$$称为$f(x_1,x_2,\cdots ,x_n)$的一个标准型

配方法和合同法

实二次型$f(x_1,x_2,\cdots ,x_n)$，若对任意一组不全为零的实数$c_1,c_2,\cdots ,c_n$都有$f(c_1,c_2,\cdots ,c_n)>0$，则称$f$为正定二次型

正定性的判定
实二次型$X^{T}AX$正定 $⟺\forall X\in R^n$，则$X^{T}AX>0$
设实二次型$f(x_1,x_2,\cdots ,x_n)=d_1{x}_1^2+d_2{x}_2^2+\cdots +d_n{x}_n^2$，$f$正定，$⟺d_i>0,i=1,2,\cdots ,n$

设$A$为实对称矩阵，若二次型$X^{T}AX$是正定的，则称$A$为正定矩阵
正定矩阵的判定
实对称矩阵$A$正定$⟺A$与单位矩阵$E$合同
正定二次型的规范形为$z_1^2+z_2^2+\cdots +z_n^2=Z^{T}EZ$
实对称矩阵$A$正定$⟺$存在可逆矩阵$C$，使$A=C^{T}C$
实对称矩阵$A$正定$⟺A$与任一正对角矩阵合同

---

特征值和特征向量

行列式 齐次线性方程组

$A$为$n$阶矩阵，若数$\lambda$和$n$维非0列向量$x$满足$Ax=\lambda x$，那么数$\lambda$称为$A$的特征值，$x$称为$A$的对应于特征值$\lambda$的特征向量。并且$|A-\lambda E|$叫做$A$的特征多项式。当特征多项式的等于0时，称为$A$的特征方程，特征方程是一个齐次线性方程组，求解特征值的过程其实就是求解特征方程的解；基础解系就是$x$。

$R(A-\lambda E)<n$说明，$A-\lambda E$的行列式等于0

$n$阶方阵$A=(a_{ij})$的所有特征根${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，则有
$$\begin{gathered} {\lambda }_1+{\lambda }_2+\cdots +{\lambda }_n=\sum _{i=1}^n{a}_{ii} \\ {\lambda }_1{\lambda }_2\cdots {\lambda }_n=|A| \end{gathered}$$
韦达定理
 

若$\lambda$是可逆矩阵$A$的一个特征根，$x$为对应的特征向量：
则$\frac{1}{\lambda }$是矩阵$A^{-1}$的一个特征根，$x$仍为对应的特征向量
则${\lambda }^m$是矩阵$A^m$的一个特征根，$x$仍为对应的特征向量

设${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$是方阵$A$的互不相同的特征值，$x_i$是${\lambda }_i$的特征向量，则$x_1,x_2,\cdots ,x_n$线性无关，即不相同的特征值的特征向量线性无关

矩阵对角化

如果一个$n$阶方阵$A$相似于对角矩阵，也就是，如果存在一个可逆矩阵$P$使得$P^{-1}AP$是对角矩阵，则称矩阵$A$为可对角化矩阵。并且最终对角矩阵的特征值就是矩阵$A$的特征值
$$P^{-1}AP=\Lambda$$
可逆矩阵$P$是$A$的全部特征向量按列构成的矩阵

既是上三角阵，又是下三角阵的矩阵为对角方阵或对角矩阵，主对角线不全为0，对角元的和称为方阵的迹
除对角线外的其它元素均为0的矩阵叫做对角矩阵

对于矩阵是否可以对角化，判断如下：

1. 由$|A-\lambda E|=0⟹$求出所有特征值${\lambda }_i$
2. 如果所有的特征值都是单根，则$A$一定能对角化
3. 如果$A$的特征值有重根，则对每个${\lambda }_i$，求齐次方程组$|A-{\lambda }_{i}E|X=0$的基础解系，如果基础解系所含向量的个数等于${\lambda }_i$的重根数或等于$n-R(A-{\lambda }_{i}E)$，则$A$可以对角化且这些基础解系排成的矩阵为相似变换矩阵

---

秩

设在矩阵$A$中有一个不等于0的$r$阶子式$D$，且所有$r+1$阶子式（如果存在）全等于0，那么$D$称为矩阵$A$的最高阶非零子式，$r$称为矩阵$A$的秩，记作$R(A)=r$

向量组：有限个相同维数的行向量或列向量组合成的一个集合就叫做向量组
向量组是由多个向量组成，可以表示为矩阵
对于向量组$A:a_1,a_2,\cdots ,a_n$，
表达式$k_1{a}_1+k_2{a}_2+\cdots +k_n{a}_n(k_i\in R)$称为向量组$A$的一个线性组合，
又如果$\beta$是向量组$A$的一个线性组合，即存在数${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，使
$\beta ={\lambda }_1{a}_1+{\lambda }_2{a}_2+\cdots +{\lambda }_n{a}_n$
则称向量$\beta$可由向量组$A$线性表示，通常写成$$\beta =\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right]\left[\begin{array}{c}{\lambda }_1\\ {\lambda }_2\\ ⋮\\ {\lambda }_n\end{array}\right]$$

向量$\beta$可有向量组$A:a_1,a_2,\cdots ,a_n$线性表示，存在数${\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_n$，使$\beta ={\lambda }_1{a}_1+{\lambda }_2{a}_2+\cdots +{\lambda }_n{a}_n$
$$Ax=\beta (A=\left[\begin{array}{cccc}{a}_1& a_2& \cdots & a_n\end{array}\right])$$

 

设向量组$A:a_1,a_2,\cdots ,a_n$，如果其中一个向量可由其余的向量线性表示，则称该向量组线性相关；否则如果任一向量都不能由其余向量线性表示，则称该向量组线性无关

如果存在不全为0的数，$k_1,k_2,\cdots ,k_n$使得$k_1{a}_1+k_2{a}_2+\cdots +k_n{a}_n=0$则称该向量组线性相关。
否则，如果设$k_1{a}_1+k_2{a}_2+\cdots +k_n{a}_n=0$只能推出$k_1=k_2=\cdots =k_n=0$，则该向量组线性无关
线性相关与线性无关统称为向量组的线性相关性

向量组$A:a_1,a_2,\cdots ,a_n$
线性相关的充要条件是矩阵$A=(a_1,a_2,\cdots ,a_n)$的秩小于向量个数
线性无关的充要条件是矩阵$A=(a_1,a_2,\cdots ,a_n)$的秩等于向量个数

设有$n$个未知数$m$个方程的线性方程组
$$\{\begin{array}{l}{a}_{11}{x}_1+a_{12}{x}_2+\cdots +a_{1n}{x}_n=b_1\\ a_{21}{x}_1+a_{22}{x}_2+\cdots +a_{2n}{x}_n=b_2\\ ⋮\\ a_{m1}{x}_1+a_{m2}{x}_2+\cdots +a_{mn}{x}_n=b_m\end{array}$$
可以写成以向量$x$为位置的向量方程$Ax=b$
当$b_1=b_2=\cdots =b_m=0$时，称为齐次线性方程组，否则称为非齐次线性方程组

齐次线性方程组有解的判定：
$n$元齐次线性方程组$Ax=0$有非零解的充要条件是$R(A)<n$
当$m<n$时，齐次线性方程组$A_{m\times n}=0$一定有非零解

非齐次线性方程组有解的判定：
无解的充要条件是$R(A)<R(A,b)$
有唯一解的充要条件是$R(A)=R(A,b)=n$
有无穷多解的充要条件是$R(A)=R(A,b)<n$

齐次方程组$A_{m\times n}X=0$的基础解系所含向量个数为$n-r(r=R(A))$
设一个基础解系为：${\xi }_1,{\xi }_2,\cdots ,\xi n-r$，则通解为$x=k_1{\xi }_1+k_2{\xi }_2+\cdots +k_{n-r}{\xi }_{n-r}(k_i\in R)$
基础解系不唯一，但是成比例关系

非齐次方程组解的结构定理
设${\eta }^{\ast }$是非齐次方程组$A_{m\times n}X=b$的一特解，则当非齐次线性方程组有无穷多解时其通解为：
$x=k_1{\xi }_1+k_2{\xi }_2+\cdots +k_{n-r}{\xi }_{n-r}+{\eta }^{\ast }(k_i\in R)$，
其中$x=k_1{\xi }_1+k_2{\xi }_2+\cdots +k_{n-r}{\xi }_{n-r}$为对应齐次线性方程组的通解

---

$n\times n$的可逆矩阵$A$，秩为$n$
可逆矩阵又称为满秩矩阵
矩阵的秩等于它行（列）向量组的秩

1. 函数：定义域、值域、对应的映射法则
2. 函数的几种特性：有界性、单调性、周期性、奇偶性
3. 反函数：逆映射；
4. 函数与其反函数关于直线$y=x$对称；
5. 若函数是单调函数，则其反函数存在，且反函数也是单调函数，且单调性相同
6. 复合函数
7. 极限：数列极限、函数极限
8. 极限准则：夹逼准则；单调有界数列必有极限
9. 两个重要极限：$\underset{x\to 0}{\lim }\frac{sinx}{x}=1$；$\underset{x\to \infty }{\lim }(1+\frac{1}{x}{)}^x=e$
10. 无穷小：当$x\to x_0$或$x\to \infty$时，如果函数$f(x)\to 0$，则称函数$f(x)$为当$x\to x_0$或$x\to \infty$时的无穷小
11. 若$\lim \frac{\beta }{\alpha }=0$，则称$\beta$是比$\alpha$高阶的无穷小，记作$\beta =o(\alpha )$
12. 若$\lim \frac{\beta }{\alpha }=1$，则称$\beta$与$\alpha$等价无穷小
13. 导数：若$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$存在，则称函数$f(x)$在点$x_0$处可导，并称此极限为该点的导数
14. $(x^n{)}^{\prime }=n{x}^{n-1}$
15. $(a^x{)}^{\prime }=a^{x}lna$
16. $(e^x{)}^{\prime }=e^x$
17. $(lo{g}_{a}x{)}^{\prime }=\frac{1}{xlna}$
18. $(lnx{)}^{\prime }=\frac{1}{x}$
19. $(sinx{)}^{\prime }=cosx$
20. $(cosx{)}^{\prime }=-sinx$
21. $(uv{)}^{\prime }=u^{\prime }v+u{v}^{\prime }$
22. $(\frac{u}{v}{)}^{\prime }=\frac{u^{\prime }v-u{v}^{\prime }}{v^2}$
23. $[f^{-1}(x){]}^{\prime }=\frac{1}{f^{\prime }(y)}$
24. 设$y=f(u),u=\phi (x)$，则复合函数$y=f[\phi (x)]$的导数为$\frac{dy}{dx}=\frac{dy}{du}\cdot \frac{du}{dx}=f^{\prime }(u)\cdot {\phi }^{\prime }(x)$
25. 高阶导数
26. 一阶导数，函数的单调性；二阶导数，曲线的凹凸性
27. 泰勒公式
28. 偏导数，在一个多变量的函数中，偏导数就是关于其中一个变量的导数而保持其它变量横店不变。
29. 多元函数的极值，偏导数

在$m\times n$矩阵$A$中，任取$k$行$k$列，不改变这$k^2$个元素的在$A$中的次序，得到$k$阶方阵，称为矩阵$A$的$k$阶子式。
$m\times n$阶矩阵$A$的$k$阶子式有$C_m^k{C}_n^k$个

误差的平方即二乘方，故称为最小二乘法

最简形矩阵，即非零行的第一个元素为1，且这些非零元所在列的其它元素都为0

方阵$A$可逆的充要条件是经过初等变换，可以将其转换为单位变量

用初等变换，求可逆矩阵

设$A$是数域上的一个$n$阶方阵，若在相同的数域上存在另一个$n$阶方阵$B$，使得$AB=BA=E$，那么称$B$为$A$的逆矩阵，而$A$被称为可逆矩阵或非奇异矩阵。如果$A$不存在逆矩阵，那么$A$称为奇异矩阵。$A$的逆矩阵记作：$A^{-1}$
如果矩阵$A$是可逆的，那么矩阵$A$的逆矩阵是唯一的
矩阵$A$可逆的充要条件是行列式$|A|$不等于0
若矩阵$A$可逆，则$AB=AC=>B=C$
$A$可逆，则$A^{-1}$可逆，且$(A^{-1}{)}^{-1}=A$

线性是指量与量之间按比例成直线关系，在数学上可以理解为一阶导数为常数的函数。而非线性是指不成比例没有直线关系，一阶导数不是常数的函数。

线性代数中的基本量指的是向量，基本关系是严格的线性关系；也即是可以简单的将线性代数理解为向量与向量之间的线性关系的映射。
向量是指具有$n$个互相独立的性质的对象表示，向量常使用字母箭头的形式进行表示，也可以使用几何坐标来表示向量
向量的模，向量的大小，也就是向量的长度，向量坐标到原点的距离
单位向量，指长度为一个单位的向量叫做单位向量
数量积，两个向量的数量积（内积、点积）是一个数量/实数
向量积，两个向量的向量积（外积、叉积）是一个向量

正交向量：如果两个向量的点积为0，那么称这两个向量互为正交向量；在几何意义上来讲，正交向量在二维/三维空间上其实就是两个向量垂直
如果两个或者多个向量，它们的点积均为0，那么它们互相称为正交向量

矩阵，即描述线性代数中线性关系的参数，即矩阵是一个线性变换，可以将一些向量转换为另一些向量
初等代数中，$y=ax$表示的是$x$到$y$的一种线性映射关系，其中$a$是描述这种关系的参数
线性代数中，$Y=AX$表示的也是向量$X$和$Y$的一种线性映射关系，其中$A$是描述这种关系的参数

当$m=1$或者$n=1$的时候，称$A$为行向量或者列向量

对于两个矩阵$A$或$B$，当它们的行数相同，列数相同，并且对应位置上的元素相等时，称矩阵$A$与$B$相等，记做$A=B$，即$a_{ij}=b_{ij}$，对所有$i=1,2,......m$；$j=1,2,......n$都成立
若两个 矩阵行数与列数分别相等，则为同型矩阵

如果矩阵$A$中$m$等于$n$，那么称矩阵$A$为$n$阶矩阵（或$n$阶方阵）
从左上到右下的对角线称为主对角线
从右上到左下的对角线称为次对角线

对于矩阵$A$（所有元素$m\times n$），各个元素取相反数得到的矩阵称为$A$的负矩阵，记为$-A$

上三角阵，方阵，主对角线下的元素全为0
下三角阵，方阵，主对角线上的元素全为0

单位矩阵，$n$阶方阵中除了主对象线上的元素外，其它元素均为0，主对角线元素均为1，那么此时的$n$阶方阵叫做$n$阶单位矩阵。单位矩阵常用$E$或者$I$表示

如果矩阵中的所有元素均为0，那么此时矩阵叫做零矩阵，可以记作0

元素以对角线为对称轴对应相等的矩阵就叫做对称矩阵，即$A=A^T$
对称矩阵具有的特性：
对称矩阵中$a_{ij}$等于$a_{ji}$
对称矩阵一定是方阵，并且对于任何的方阵$A$，$A+A^T$是对称矩阵

矩阵的转置，把矩阵$A$的行和列互相交换所产生的矩阵称为$A$的转置矩阵，这一过程叫做矩阵的转置，使用$A^T$表示$A$的转置
$$\begin{gathered} (A^T{)}^T=A \\ (\lambda A{)}^T=\lambda A^T \\ (A+B{)}^T=A^T+B^T \end{gathered}$$

方阵的行列式，$n$阶方阵$A$的行列式表示为$|A|$或者$det(A)$
1阶的方阵，其行列式等于该元素本身
2阶的行列式，主对角线元素乘积之后减去次对角线元素的乘积之和

排列的逆序数，就是这个数字之前有几位数字比它大，这个位置的逆序数就是多少

$$D=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ a_{21}& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \cdots & ⋮\\ a_{n1}& a_{n2}& \cdots & a_{nn}\end{array}\right]$$
$$\begin{gathered} \sum (-1{)}^t{a}_{1q_1}{a}_{2q_2}\cdots a_{n{q}_n} \\ \sum (-1{)}^t{a}_{p_{1}1}{a}_{p_{2}2}\cdots a_{p_{n}n} \end{gathered}$$

上三角行列式

$$D=\left[\begin{array}{cccc}{a}_{11}& a_{12}& \cdots & a_{1n}\\ 0& a_{22}& \cdots & a_{2n}\\ ⋮& ⋮& \cdots & ⋮\\ 0& 0& \cdots & a_{nn}\end{array}\right]=a_{11}{a}_{22}\cdots a_{nn}$$

行列式的性质：
互换行列式的两行（列），行列式变号
行列式的某一行（列）中所有的元素都乘以同一数$k$，等于用数$k$乘此行列式
把行列数的某一行（列）各元素乘以同一数然后加到另一行（列）对应的元素上去，行列式的值不变

在一个$n$阶的行列式中，把元素$aij(i,j=1,2,3,......,n)$所在的行和列化去后，剩下的$(n-1{)}^2$个元素按照原来的次序组成一个$n-1$阶行列式$M_{ij}$，称为元素$a_{ij}$的余子式。$M_{ij}$带上符号$(-1{)}^{(i+j)}$称为$a_{ij}$的代数余子式，记作：$A_{ij}=(-1{)}^{(i+j)}{M}_{ij}$
行列四按行（列）展开法则：
$$\begin{gathered} \forall 1\le i\le n,|A|=\sum _{j=1}^n{a}_{ij}Aij \\ \forall j\le i\le n,|A|=\sum _{i=1}^n{a}_{ij}Aij \\ {a}_{i1}{A}_{j1}+a_{i2}{A}_{j2}+\cdots +a_{in}{A}_{jn}=\{\begin{array}{ll}|A|,& i=j;\\ 0,& i\ne j.\end{array} \end{gathered}$$

在矩阵中有成比例的行或列，这个矩阵的行列式为0

对于$n$阶方阵的任意元素$a_{ij}$都有各自的代数余子式$A_{ij}=(-1{)}^{(i+j)}{M}_{ij}$，将所有的代数余子式按照次序进行排列，可以得到一个$n$阶的方阵$A^{\ast }$，那么称$A^{\ast }$称为矩阵$A$的伴随矩阵
$A_{ij}$位于$A^{\ast }$的第$j$行第$i$列
$$A\cdot A^{\ast }=|A|\cdot E$$

$A$可逆，$k\ne 0$，则$kA$可逆，且$(kA{)}^{-1}=\frac{1}{k}{A}^{-1}$
$A,B$同阶可逆，则$AB$可逆，且$(AB{)}^{-1}=B^{-1}{A}^{-1}$
$A$可逆，则$A^T$可逆，且$(A^T{)}^{-1}=(A^{-1}{)}^T$
$A$可逆，则$|A^{-1}|=\frac{1}{|A|}$

$A$为$m\times n$的矩阵，$x$为$n\times 1$的列向量，则$Ax$为$m\times 1$的列向量，记作$\vec{y}=A\cdot \vec{x}$，则$$\frac{\partial \vec{y}}{\partial \vec{x}}=\frac{\partial A\vec{x}}{\partial \vec{x}}=A^T$$

$$\frac{\partial A\vec{x}}{\partial \vec{x}}=A^T$$
$$\frac{\partial A\vec{x}}{\partial {\vec{x}}^T}=A$$
$$\frac{\partial {\vec{x}}^{T}A}{\partial \vec{x}}=A$$

$A$为$n\times n$的矩阵，$x$为$n\times 1$的列向量，记$y={\vec{x}}^T\cdot A\cdot \vec{x}$，则
$$\frac{\partial y}{\partial \vec{x}}=\frac{\partial ({\vec{x}}^T\cdot A\cdot \vec{x})}{\partial \vec{x}}=(A^T+A)\cdot \vec{x}$$
若$A$为对称矩阵，则有
$$\frac{\partial ({\vec{x}}^{T}A\vec{x})}{\partial \vec{x}}=2A\vec{x}$$

行向量对元素求导
设$y^T=\left[\begin{array}{cccc}{y}_1& y_2& \cdots & y_n\end{array}\right]$是$n$维行向量，$x$是元素，则
$$\frac{\partial y^T}{\partial x}=\left[\begin{array}{cccc}\frac{\partial y_1}{\partial x}& \frac{\partial y_2}{x}& \cdots & \frac{\partial y_n}{\partial x}\end{array}\right]$$

列向量对元素求导
设$y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_m\end{array}\right]$是$m$维列向量，$x$是元素，则
$$\frac{\partial y}{\partial x}=\left[\begin{array}{c}\frac{\partial y_1}{\partial x}\\ ⋮\\ \frac{\partial y_m}{\partial x}\end{array}\right]$$

矩阵对元素求导
设$Y=\left[\begin{array}{ccc}{y}_{11}& \cdots & y_{1n}\\ ⋮& \cdots & ⋮\\ y_{m1}& \cdots & y_{mn}\end{array}\right]$是$m\times n$矩阵，$x$是元素，则
$$\frac{\partial Y}{\partial x}=\left[\begin{array}{ccc}\frac{\partial y_{11}}{\partial x}& \cdots & \frac{\partial y_{1m}}{\partial x}\\ ⋮& \cdots & ⋮\\ \frac{\partial y_{m1}}{\partial x}& \cdots & \frac{\partial y_{mn}}{\partial x}\end{array}\right]$$

元素对行向量求导
设$y$是元素，$x^T=\left[\begin{array}{ccc}{x}_1& \cdots & x_q\end{array}\right]$是$q$维行向量，则
$$\frac{\partial y}{\partial x^T}\left[\begin{array}{ccc}\frac{\partial y}{\partial x_1}& \cdots & \frac{\partial y}{\partial x_q}\end{array}\right]$$

元素对列向量求导
设$y$是元素，$x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_p\end{array}\right]$是$p$维列向量，则
$$\frac{\partial y}{\partial x}=\left[\begin{array}{c}\frac{\partial y}{\partial x_1}\\ ⋮\\ \frac{\partial y}{\partial x_p}\end{array}\right]$$

元素对矩阵求导
设$y$是元素，$X=\left[\begin{array}{ccc}{x}_{11}& \cdots & x_{1q}\\ ⋮& \cdots & ⋮\\ x_{p1}& \cdots & x_{pq}\end{array}\right]$是$p\times q$矩阵，则
$$\frac{\partial y}{\partial X}=\left[\begin{array}{ccc}\frac{\partial y}{\partial x_{11}}& \cdots & \frac{\partial y}{\partial x_{1q}}\\ ⋮& \cdots & ⋮\\ \frac{\partial y}{\partial x_{p1}}& \cdots & \frac{\partial y}{\partial x_{pq}}\end{array}\right]$$

行向量对列向量求导
设$y^T=\left[\begin{array}{ccc}{y}_1& \cdots & y_n\end{array}\right]$是$n$维行向量，$x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_p\end{array}\right]$是$p$维向量，则
$$\frac{\partial y_T}{\partial x}=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_n}{\partial x_1}\\ ⋮& \cdots & ⋮\\ \frac{\partial y_n}{\partial x_p}& \cdots & \frac{\partial y_n}{\partial x_p}\end{array}\right]$$

列向量对行向量求导
设$y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_m\end{array}\right]$是$m$维列向量，$x^T=\left[\begin{array}{ccc}{x}_1& \cdots & x_q\end{array}\right]$是$q$维行向量，则
$$\frac{\partial y}{\partial x^T}=\left[\begin{array}{ccc}\frac{\partial y_1}{\partial x_1}& \cdots & \frac{\partial y_1}{\partial x_q}\\ ⋮& \cdots & ⋮\\ \frac{\partial y_m}{\partial x_1}& \cdots & \frac{\partial y_m}{\partial x_q}\end{array}\right]$$

行向量对行向量求导

设$y^T=\left[\begin{array}{ccc}{y}_1& \cdots & y_n\end{array}\right]$是$n$维行向量，$x^T=\left[\begin{array}{ccc}{x}_1& \cdots & x_q\end{array}\right]$是$q$维行向量，将$y^T$转换为列向量进行求导，转换的是分子部分

列向量对列向量求导

设$y=\left[\begin{array}{c}{y}_1\\ ⋮\\ y_m\end{array}\right]$是$m$维列向量，$x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_p\end{array}\right]$是$p$维向量，将$y$转换为行向量进行求导，转换的是分子部分

矩阵对行向量求导
矩阵对列向量求导

通过函数导数的值，可以判断出函数的单调性和曲线的凹凸性

若一阶导数大于0，则单调递增；若一阶导数小于0，则单调递减；导数等于0的点，为函数的驻点

若二阶导数大于0，则曲线是凹的；若二阶导数小于0，则曲线是凸的。曲线上凹凸性改变的点，称为曲线的拐点

如果函数的导函数在某一个区间内恒大于0（或恒小于0），那么函数在这个区间单调递增（或单调递减），这种区间叫做单调区间；如果函数的二阶导函数在某一个区间内恒大于0（或恒小于0），那么曲线在这个区间是凹的（或凸的），这种区间叫做凹凸区间。

设函数$y=f(x)$在$[a,b]$上连续，在(a,b)内可导。
如果在$(a,b)$内$f^{\prime }(x)>0$，那么函数$y=f(x)$在$[a,b]$上单调增加
如果在$(a,b)$内$f^{\prime }(x)<0$，那么函数$y=f(x)$在$[a,b]$上单调减少

设函数$f(x)$在区间$I$上连续，$\forall x_1,x_2\in I$，若恒有
$$f(\frac{x_1+x_2}{x})<\frac{f(x_1)+f(x_2)}{2}$$，则称$f(x)$的图形是凹的
若恒有
$$f(\frac{x_1+x_2}{x})>\frac{f(x_1)+f(x_2)}{2}$$，则称$f(x)$的图形是凸的
连接曲线上的凸弧与凹弧的分界点，称为曲线的拐点

设函数$f(x)$在区间$I$上有二阶导数，
在$I$内$f^{\prime \prime }(x)>0$，则f(x)内的图形是凹的
在$I$内$f^{\prime \prime }(x)<0$，则f(x)内的图形是凸的

设函数$y=f(x)$在点$x_0$的某领域内有定义，若$\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}$存在，其中 $\Delta y=f(x)-f(x_0)\Delta x=x-x_0$。则称函数$f(x)$在点$x_0$处可导，并称此极限为$y=f(x)$在点$x_0$的导数，记作：
$y^{\prime }{|}_{x=x_0}$ $f^{\prime }(x_0)$ $\frac{dy}{dx}{|}_{x=x_0}$$\frac{df(x)}{dx}{|}_{x=x_0}$
即
$$y^{\prime }{|}_{x=x_0}=f^{\prime }(x_0)=\underset{\Delta x\to 0}{\lim }\frac{\Delta y}{\Delta x}=\underset{x\to x_0}{\lim }\frac{f(x)-f(x_0)}{x-x_0}$$

常用函数的导数公式：
$(C{)}^{\prime }=0$
$(sinx{)}^{\prime }=cosx$
$(cosx{)}^{\prime }=-sinx$

$(x^u{)}^{\prime }=u{x}^{u-1}$
$(a^x{)}^{\prime }=a^{x}lna$
$(e^x{)}^{\prime }=e^x$
$(lo{g}_{a}x{)}^{\prime }=\frac{1}{xlna}$
$(lnx{)}^{\prime }=\frac{1}{x}$

多元函数
设$D$是平面上的一个点集，如果对于每一个点$p(x,y)\in D$，变量$z$按照一定的法则总是有确定的值和它对应，则称$z$是变量$x,y$的二元函数，记为$z=f(x,y)$或记为$z=f(P)$

设函数$z=f(x,y)$的定义域为$D$，对于任意取定的$P(x,y)\in D$，对应的函数值为$z=f(x,y)$，这样，以$x$为横坐标，$y$为纵轴标，$z$为竖坐标在空间就确定一点$M(x,y,z)$，取$(x,y)$遍$D$上的一切点时，得一个空间集
{ ( x , y , z ) ∣ z = f ( x , y ) , ( x , y ) ∈ D } {\{(x,y,z)|z=f(x,y), (x,y) \in D\}} {(x,y,z)∣z=f(x,y),(x,y)∈D}
这个点集称为二元函数的图形

多元函数中同样有定义域、值域、自变量、因变量等概念

多元函数的偏导数
在一个多变量的函数中，偏导数就是关于其中一个变量的导数而保持其它变量恒定不变。假定二元函数$z=f(x,y)$，点$(x_0,y_0)$是其定义域内的一个点，将$y$固定在$y_0$上，而$x$在$x_0$上增量$\Delta x$，相应的函数$z$有增量$\Delta z=f(x_0+\Delta x,y_0)-f(x_0,y_0)$；$\Delta z$和$\Delta x$的比值当$\Delta x$趋近于0的时候，如果极限存在，那么此极限值称为函数$z=f(x,y)$，在$(x_0,y_0)$处对$x$的偏导数，记作$f_x(x_0,y_0)$，对$x$的偏导数$\frac{\partial f}{\partial x}$，对$y$的偏导数$\frac{\partial f}{\partial y}$

$$f_x(x_0,y_0,z_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0+\Delta x,y_0,z_0)-f(x_0,y_0,z_0)}{\Delta x}$$
$$f_y(x_0,y_0,z_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0,y_0+\Delta y,z_0)-f(x_0,y_0,z_0)}{\Delta y}$$
$$f_z(x_0,y_0,z_0)=\underset{\Delta x\to 0}{\lim }\frac{f(x_0,y_0,z_0+\Delta z)-f(x_0,y_0,z_0)}{\Delta z}$$

拉格朗日乘数法
要找函数$z=f(x,y)$在条件$\phi (x,y)=0$下的可能极值点，引入拉格朗日函数
$$F(x,y,\lambda )=f(x,y)+\lambda \phi (x,y)$$
其中$\lambda$为参数，
$$\{\begin{array}{l}{f}_x^{\prime }(x,y)+\lambda {\phi }_x^{\prime }(x,y)=0\\ f_y^{\prime }(x,y)+\lambda {\phi }_y^{\prime }(x,y)=0\\ \phi (x,y)=0\end{array}$$
解出$x,y,\lambda$，其中$x,y$就是可能的极值点的坐标

方向导数
若函数$f(x,y,z)$在点$P(x,y,z)$处沿方向$I$（方向角为$\alpha ,\beta ,\gamma$）存在下列极限：
$$\underset{\rho \to 0}{\lim }\frac{\Delta f}{\rho }=\underset{\rho \to 0}{\lim }\frac{f(x+\Delta x,y+\Delta y,z+\Delta z)-f(x,y,z)}{\rho }$$
$$\rho =|\overrightarrow{\Delta l}|=\sqrt{(\Delta x{)}^2+(\Delta y{)}^2+(\Delta z{)}^2}$$

$$\begin{gathered} \Delta x=\rho cos\alpha \\ \Delta y=\rho cos\beta \\ \Delta z=\rho cos\gamma \end{gathered}$$

若函数$f(x,y,z)$在点$P(x,y,z)$处可微，则：
$$\frac{\partial f}{\partial l}=\frac{\partial f}{\partial x}cos\alpha +\frac{\partial f}{\partial y}cos\beta +\frac{\partial f}{\partial z}cos\gamma$$
其中，$\alpha ,\beta ,\gamma$为$l$的方向角

令向量：
$$\begin{gathered} \vec{G}=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z}) \\ {\vec{l}}^0=(cos\alpha ,cos\beta ,cos\gamma ) \\ \frac{\partial f}{\partial l}=\vec{G}\cdot {\vec{l}}^0=|\vec{G}||{\vec{l}}^0|cos() \\ |{\vec{l}}^0|=1\frac{\partial f}{\partial l}=\vec{G}\cdot {\vec{l}}^0=|\vec{G}|cos() \end{gathered}$$
当$\vec{G}$与${\vec{l}}^0$方向一致时，方向导数取最大值：
$$max(\frac{\partial f}{\partial l})=|\vec{G}|$$
这说明，$\vec{G}$的方向是$f$变化率的最大方向，$\vec{G}$的模是$f$的最大变化率的值

向量$\vec{G}$称为函数$f(P)$在点$P$处的梯度，记作$grandf$，即
$$grandf=\frac{\partial f}{\partial x}\vec{i}+\frac{\partial f}{\partial y}\vec{j}+\frac{\partial f}{\partial z}\vec{k}=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y},\frac{\partial f}{\partial z})$$

梯度

梯度就是方向导数中所沿的方向

二元函数$f(x,y)$在点$P(x,y)$处的梯度
$$grandf=\frac{\partial f}{\partial x}\vec{i}+\frac{\partial f}{\partial y}\vec{j}=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$$
引用记号$\nabla =(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})$,称为奈布拉算符，或称为向量微分算子或哈密顿算子，则梯度可记为
$$grandf=(\frac{\partial f}{\partial x},\frac{\partial f}{\partial y})=\nabla f$$

函数$f$沿梯度 $grandf$方向增加最快
函数$f$沿梯度 $-grandf$方向减小最快

泰勒公式最开始的目的是尽可能的近似的求出复杂函数值的值

$$f(x)=\frac{f(x_0)}{0!}+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+......+\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+R_n(x)$$

$R_n(x)$是泰勒公式的余项，是$(x-x_0{)}^n$的高阶无穷小

当$x\to x_0$或$x\to \infty$时，如果函数$f(x)\to 0$，则称函数$f(x)$为当$x\to x_0$或$x\to \infty$时的无穷小

若$lim\frac{\beta }{\alpha }=0$，则称$\beta$是比$\alpha$的高阶无穷小，记作$\beta =o(\alpha )$

麦克劳林公式，即$x_0=0$
$$f(x)=\frac{f(0)}{0!}+\frac{f^{\prime }(0)}{1!}x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+......+\frac{f^{(n)}(0)}{n!}{x}^n+R_n(x)$$