矩阵论、组合数学基础

http://blog.youkuaiyun.com/pipisorry/article/details/49180221

{计算机相关编程、论文中遇到的与概率论、矩阵、微积分、组合数学相关的常见知识}

二次方程的根为：

矩阵论

点乘、叉乘及元素乘法

向量的点乘（dot product），也叫数量积，记作a·b。结果是一个向量在另一个向量方向上投影的长度，是一个标量。一般点乘用来判断两个向量是否垂直，因为比较好算。也可以用来计算一个向量在某个方向上的投影长度，就像定义一样。
向量的叉乘（cross product），也叫向量积，记作a×b。结果是一个和已有两个向量都垂直的向量。叉乘更多的是判断某个平面的方向。从这个平面上选两个不共线的向量，叉乘的结果就是这个平面的法向量。

假如 向量a 为（x1, y1），向量b为(x2, y2)

点积结果 为 x1 * x2 + y1 * y2 = |a||b| cos<a,b>

叉积的模为 x1 * y2 - x2 * y1 = |a||b| sin<a,b>

若向量a=(a1,b1,c1)，向量b=(a2,b2,c2)， 则

向量a·向量b=a1a2+b1b2+c1c2

向量a×向量b=

| i  j  k| 
|a1 b1 c1| 
|a2 b2 c2| 
=(b1c2-b2c1,c1a2-a1c2,a1b2-a2b1) 

（行列式计算，i、j、k分别为空间中相互垂直的三条坐标轴的单位向量）。

还有一种是元素乘法（元素逐个相乘），一般需要两个向量同样维度和大小（或者通过广播运算变成同样维度和大小）。

线性无关

在线性代数里，向量空间的一组元素中，若没有向量可用有限个其他向量的线性组合所表示，则称为线性无关或线性独立（linearly independent），反之称为线性相关（linearly dependent）。

线性相关性是线性代数的重要概念，因为线性无关的一组向量可以生成一个向量空间，而这组向量则是这向量空间的基。

例如在三维欧几里得空间R3的三个向量(1, 0, 0)，(0, 1, 0)和(0, 0, 1)线性无关。但(2, −1, 1)，(1, 0, 1)和(3, −1, 2)线性相关，因为第三个是前两个的和。

假设V是在域K上的向量空间。如果v1, v2, ..., vn 是V的向量，称它们为线性相关，如果从域K 中有非全零的元素a1, a2, ..., an，适合

∑ i = 1 n a i v i = 0 {\displaystyle \sum _{i=1}^{n}a_{i}\mathbf {v} _{i}=\mathbf {0} \,} 。

（注意右边的零是V的零向量，不是K的零元。）

如果K中不存在这样的元素，那么v1, v2, ..., vn是线性无关。

对线性无关可以给出更直接的定义：

向量v1, v2, ..., vn线性无关，当且仅当它们满足以下条件：如果a1, a2, ..., an是K的元素，适合：

a ₁ v ₁ + a ₂ v ₂ + ... + a _n v _n = 0，

那么对所有i = 1, 2, ..., n都有a_i = 0。

相关性

• 含有零向量的向量组，必定线性相关。

若有向量组 a 1 , a 2 , . . . , a s {\displaystyle a_{1},a_{2},...,a_{s}} ，其中 a 1 = 0 {\displaystyle a_{1}=0} ，则 a 1 = 0 ⋅ a 2 + . . . + 0 ⋅ a s {\displaystyle a_{1}=0\cdot a_{2}+...+0\cdot a_{s}} 。

Note: 相关因为a1前面的系数不为0。

• 含有两个相等向量的向量组，必定线性相关。

若有向量组 a 1 , a 2 , . . . , a s {\displaystyle a_{1},a_{2},...,a_{s}} ，其中 a 1 = a 2 {\displaystyle a_{1}=a_{2}} ，则 a 1 = 1 ⋅ a 2 + 0 ⋅ a 3 + . . . + 0 ⋅ a s {\displaystyle a_{1}=1\cdot a_{2}+0\cdot a_{3}+...+0\cdot a_{s}} 。

• 若一向量组相关，则加上任意个向量后，仍然线性相关；即局部线性相关，整体必线性相关。
• 整体线性无关，局部必线性无关。
• 向量个数大于向量维数，则此向量组线性相关。
• 若一向量组线性无关，即使每一向量都在同一位置处增加一分量，仍然线性无关。
• 若一向量组线性相关，即使每一向量都在同一位置处减去一分量，仍然线性相关。
• 若 a 1 , a 2 , . . . , a s {\displaystyle a_{1},a_{2},...,a_{s}} 线性无关，而 b , a 1 , a 2 , . . . , a s {\displaystyle b,a_{1},a_{2},...,a_{s}} 线性相关，则 b {\displaystyle b} 必可由 a 1 , a 2 , . . . , a s {\displaystyle a_{1},a_{2},...,a_{s}} 线性表示，且表示系数唯一。
• 有向量组 I { a 1 , a 2 , . . . , a s } {\displaystyle {\textrm {I}}\{a_{1},a_{2},...,a_{s}\}} 和 II { b 1 , b 2 , . . . , b t } {\displaystyle {\textrm {II}}\{b_{1},b_{2},...,b_{t}\}} ，其中 t > s {\displaystyle t>s} ，且 II {\displaystyle {\textrm {II}}} 中每个向量都可由 I {\displaystyle {\textrm {I}}} 线性表示，则向量组 II {\displaystyle {\textrm {II}}} 必线性相关。即向量个数多的向量组，若可被向量个数少的向量组线性表示，则向量个数多的向量组必线性相关。
• 若一向量组 b 1 , b 2 , . . . , b t {\displaystyle b_{1},b_{2},...,b_{t}} 可由向量组 a 1 , a 2 , . . . , a s {\displaystyle a_{1},a_{2},...,a_{s}} 线性表示，且 b 1 , b 2 , . . . , b t {\displaystyle b_{1},b_{2},...,b_{t}} 线性无关，则 t ≤ s {\displaystyle t\leq s} 。即线性无关的向量组，无法以向量个数较少的向量组线性表示。

[ wikipedia 线性相关]

二次型

Note: x是n*1的vec且L是n*n矩阵。

xTLx是一个二次型，其列出了所有x1, x2...xn的可能二次项，故称为二次型：

实对称矩阵及其性质

在线性代数中，实对称矩阵是一个方形矩阵，其元素都为实数，且转置矩阵和自身相等（ 即矩阵各个元素都为实数，且 a i j = a j i {\displaystyle a_{ij}=a_{ji}} , i , j = 1 , 2 , … , n {\displaystyle i,j=1,2,\dots ,n} ）。

实对称矩阵有以下的性质：

• 实对称矩阵A的不同特征值所对应的特征向量是正交orthogonal的。
• 实对称矩阵A的特征值都是实数，特征向量都是实向量。
• n阶实对称矩阵A必可对角化。
• 可用正交矩阵对角化。
• K重特征值必有K个线性无关的特征向量，或者说必有秩r(λE-A)=n-k。

实对称矩阵A的不同特征值所对应的特征向量是正交的

[实对称矩阵的相似标准型]

半/正定矩阵

如果对任何非零向量x，都有x'Ax≥0（或x’Ax≤0）成立，且有非零向量x0，使x0'Ax0=0，则称f为半正定（半负定）二次项，矩阵A称为半正定矩阵（半负定矩阵）。

矩阵形式和标量形式的转换

这实际上是奇异值分解的一个图释，但是觉得很能说明矩阵形式和标量形式的转换过程是怎样的，有助于矩阵点乘式的求导、积分、标量转换成向量形式的理解。

二阶矩阵求逆

[理解矩阵 系列]

皮皮blog

组合数学

等差数列和等比数列的求和公式

等差数列求和公式

等比数列通项公式与推广式 及 求和公式

二项式定理

stirling公式

这样就可以近似计算组合，并求其极限

组合变换

变换1

其中

变换2

等价于系数选择：

泰勒公式Taylor's Formula

在数学中，泰勒公式是一个用函数在某点的信息描述其附近取值的公式。这个公式来自于微积分的泰勒定理（Taylor's theorem），泰勒定理描述了一个可微函数，如果函数足够光滑的话，在已知函数在某一点的各阶导数值的情况之下，泰勒公式可以用这些导数值做系数构建一个多项式来近似函数在这一点的邻域中的值，这个多项式称为泰勒多项式（Taylor polynomial）。泰勒公式还给出了余项即这个多项式和实际的函数值之间的偏差。泰勒公式得名于英国数学家布鲁克·泰勒。拉格朗日在1797年之前，最先提出了带有余项的现在形式的泰勒定理。泰勒公式的初衷是用多项式来近似表示函数在某点周围的情况。

泰勒展开定理

定理：

设 n 是一个正整数。如果定义在一个包含 a 的区间上的函数 f 在 a 点处 n+1 次可导，那么对于这个区间上的任意 x，都有：

f ( x ) = f ( a ) + f ′ ( a ) 1 ! ( x − a ) + f ( 2 ) ( a ) 2 ! ( x − a ) 2 + ⋯ + f ( n ) ( a ) n ! ( x − a ) n + R n ( x ) . {\displaystyle f(x)=f(a)+{\frac {f'(a)}{1!}}(x-a)+{\frac {f^{(2)}(a)}{2!}}(x-a)^{2}+\cdots +{\frac {f^{(n)}(a)}{n!}}(x-a)^{n}+R_{n}(x).}

其中的多项式称为函数在a 处的泰勒展开式，剩余的 R n ( x ) {\displaystyle R_{n}(x)} 是泰勒公式的余项，是 ( x − a ) n {\displaystyle (x-a)^{n}} 的高阶无穷小。

余项 的表达形式有若干种，分别以不同的数学家命名：

带有皮亚诺型余项的泰勒公式说明了多项式和函数的接近程度：

f ( x ) = f ( a ) + f ′ ( a ) 1 ! ( x − a ) + f ( 2 ) ( a ) 2 ! ( x − a ) 2 + ⋯ + f ( n ) ( a ) n ! ( x − a ) n + o [ ( x − a ) n ] {\displaystyle f(x)=f(a)+{\frac {f'(a)}{1!}}(x-a)+{\frac {f^{(2)}(a)}{2!}}(x-a)^{2}+\cdots +{\frac {f^{(n)}(a)}{n!}}(x-a)^{n}+o[(x-a)^{n}]}

也就是说，当x 无限趋近a 时，余项 R n ( x ) {\displaystyle R_{n}(x)} 将会是 ( x − a ) n {\displaystyle (x-a)^{n}} 的高阶无穷小，或者说多项式和函数的误差将远小于 ( x − a ) n {\displaystyle (x-a)^{n}} ^[3]。这个结论可以由下面更强的结论推出。

带有拉格朗日型余项的泰勒公式可以视为拉格朗日微分中值定理的推广：

f ( x ) = f ( a ) + f ′ ( a ) 1 ! ( x − a ) + f ( 2 ) ( a ) 2 ! ( x − a ) 2 + ⋯ + f ( n ) ( a ) n ! ( x − a ) n + f ( n + 1 ) ( θ ) ( n + 1 ) ! ( x − a ) ( n + 1 ) {\displaystyle f(x)=f(a)+{\frac {f'(a)}{1!}}(x-a)+{\frac {f^{(2)}(a)}{2!}}(x-a)^{2}+\cdots +{\frac {f^{(n)}(a)}{n!}}(x-a)^{n}+{\frac {f^{(n+1)}(\theta )}{(n+1)!}}(x-a)^{(n+1)}}

即 R n ( x ) = f ( n + 1 ) ( θ ) ( n + 1 ) ! ( x − a ) ( n + 1 ) {\displaystyle R_{n}(x)={\frac {f^{(n+1)}(\theta )}{(n+1)!}}(x-a)^{(n+1)}} ，其中 θ ∈ ( a , x ) {\displaystyle \theta \in (a,x)} 。

带有积分型余项的泰勒公式可以看做微积分基本定理的推广：

R n ( x ) = ∫ a x f ( n + 1 ) ( t ) n ! ( x − t ) n d t , {\displaystyle R_{n}(x)=\int _{a}^{x}{\frac {f^{(n+1)}(t)}{n!}}(x-t)^{n}\,dt,}

函数展开示例

1 根据泰勒公式，指数函数e^x 在x = 0 的附近可以用以下多项式来近似地表示：

e x ≈ 1 + x + x 2 2 ! + x 3 3 ! + ⋯ + x n n ! . {\displaystyle {\textrm {e}}^{x}\approx 1+x+{\frac {x^{2}}{2!}}+{\frac {x^{3}}{3!}}+\cdots +{\frac {x^{n}}{n!}}.}

称为指数函数在0处的n 阶泰勒展开公式。这个公式只对0附近的x 有用，x 离0 越远，这个公式就越不准确。

2

[wiki 泰勒公式]

from:http://blog.youkuaiyun.com/pipisorry/article/details/49180221

ref: