python与线性代数 矩阵

1.标量相乘
每个元素与标量相乘
设$A,B,C$是相同维数的矩阵,$r$与$s$为数,则由
a. $A+B$ = $B+A$
b. $(A+B)+C = A+(B+C)$
c. $(A+0) = A$
d. $r(A+B) = rA + rB$
e. $(r+s)A = rA + rB$
f. $r(sA) = (rs)A$

2.矩阵相乘
若乘积$AB$有定义,$AB$的第$i$行第$j$列的元素是$A$的第$i$行与$B$的第$j$列对饮钙元素乘积之和.
只要注意矩阵左乘和右乘不相等即可.

a. $A(BC) = (AB)C$
b. $A(B+C) = AB +AC$
c. $(B+C)A = BA +CA$
d. $r(AB) = (rA)B = A(rB)$
e. $I_mA =A =AI_N$

3.矩阵的转置(transpose)
$A^T$行与列交换

a. $(A^T)^T = A$
b. $(A+B)^T = A^T + B^T$
c. $(rA) = rA^T$
d. $(AB)^T = B^TA^T$

4.矩阵的逆(inverse)
一个$n*n矩阵A是可逆的则

$AA^{-1} = I$

$A^{-1}A = I$
不可可逆矩阵也称为奇异矩阵(singular matrix),而可逆矩阵称为非奇异矩阵(nonsingular matrix)

a. 设A=$\left[ \begin{matrix} a & b \\ c & d \\ \end{matrix} \right]$,若$ad!=bc$,则A可逆,且$A^{-1}$=$\frac{1}{ad-bc} \left[ \begin{matrix} a & -b \\ -c & d \\ \end{matrix} \right]$

$det A = ad - bc$ 称为A的行列式

b. 若A是可逆$n*n$矩阵,则对每一$R^n$中的b,方程$Ax=b$有唯一解$x = A^{-1}b$

a. $(A^{-1})^{-1}=A$
b. 若A和B都是n*n可逆矩阵,AB也可逆,且其逆是A和B的逆矩阵按相反顺序的乘积$(AB)^{-1} = B^{-1}A^{-1}$
c. 若A可逆,则$A^T$也可逆,且其逆是$A^{-1}$的转置,即$(A^T)^{-1} = (A^{-1})^T$

a.n*n矩阵A是可逆的,当且仅当A行等价于$I_n$,这时,把A变为$I_n$的一系列初等变换同时把$I_n$变成$A^{-1}$

可逆矩阵定理
a. A是可逆矩阵
b. A是n*n单位矩阵
c. A有n个主元位置
d.$Ax =0$仅有平凡解
e.A的个列线性无关
f.线性变换$x -> Ax$是一对一的
g. 对$R^n$中任意b,$Ax = b$至少有一个解
h. A的各列生成$R^n$
i. 线性变换$x ->Ax$把$R^n$映射到$R^n$上
j. 存在n*n矩阵C是的CA = I
k. 存在n*n矩阵D使得AD=I
l. $A^T$是可逆矩阵

1. 分块矩阵(partitioned matrices)

2. 矩阵的因式分解(matrix factorizations)

3. $R^n$的子空间

4. 维数与秩(dimension and rank)

python应用
在机器学习中KNN算法,要计算训练集A和测试集B中所有向量的欧式距离.使用二重嵌套循环效率会非常低,而用矩阵计算则会很快.

欧式距离OD = $\sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$=$\sqrt{x_1^2+x_2^2-2x_1x_2+y_1^2+y_2^2-2y_1y_2}$

假设训练集A中有两个点分别是$(a_{11} , a_{12})和(a_{21}, a_{22})$,测试集B中有两个点分别是$(b_{11} , b_{12}),(b_{21}, b_{22}),(b_{31}, b_{32})$

第一种方法:二重嵌套循环

第二种方法:矩阵
首先,将A和B转换为矩阵
A=$\left[ \begin{matrix} a_{11} & a_{12} \\ a_{21} & a_{22} \\ \end{matrix} \right]$B=$\left[ \begin{matrix} b_{11} & b_{12} \\ b_{21} & b_{22} \\ b_{31} & b_{32} \end{matrix} \right]$
最后得到的结果应该是一个2*3的矩阵,第i行第j列元素对应的A矩阵中第i个点和b矩阵中第j个点

欧式距离可以写成
欧式距离OD = $\sqrt{(x_1-x_2)^2+(y_1-y_2)^2}$=$\sqrt{x_1^2+x_2^2+y_1^2+y_2^2-2x_1x_2-2y_1y_2}$

1.首先计算$x_1^2+x_2^2$
$A_{s}$=$\left[ \begin{matrix} a_{11}^2 +a_{12}^2 \\ a_{21}^2 +a_{22}^2 \\ \end{matrix} \right]$

同理计算$y_1^2+y_2^2$
$\left[ \begin{matrix} b_{11}^2 + b_{12}^2 \\ b_{21}^2 + b_{22}^2 \\ b_{31}^2 + b_{32}^2 \end{matrix} \right]$

2.再求$x_1^2+x_2^2+y_1^2+y_2^2$
这里牵涉到矩阵的广播(broadcast)
$A_{sb}$ = $\left[ \begin{matrix} a_{11}^2 +a_{12}^2 & a_{11}^2 +a_{12}^2 & a_{11}^2 +a_{12}^2\\ a_{21}^2 +a_{22}^2 & a_{21}^2 +a_{22}^2 & a_{21}^2 +a_{22}^2 \\ \end{matrix} \right]$

这里使用b的转置来求
先求B的转置
$\left[ \begin{matrix} b_{11}^2 + b_{12}^2 &b_{21}^2 + b_{22}^2 &b_{31}^2 + b_{32}^2 \end{matrix} \right]$
在求$B_s$转置之后的广播

$B_{sb}$ = $\left[ \begin{matrix} b_{11}^2 + b_{12}^2 &b_{21}^2 + b_{22}^2 &b_{31}^2 + b_{32}^2 \\ b_{11}^2 + b_{12}^2 &b_{21}^2 + b_{22}^2 &b_{31}^2 + b_{32}^2 \end{matrix} \right]$

然后将$A_{sb}B_{sb}$相加
$A_{sb}+B_{sb}$ = $\left[ \begin{matrix} a_{11}^2 +a_{12}^2+b_{11}^2 + b_{12}^2 &a_{11}^2 +a_{12}^2+b_{21}^2 + b_{22}^2 &a_{11}^2 +a_{12}^2+b_{31}^2 + b_{32}^2 \\ a_{21}^2 +a_{22}^2+b_{11}^2 + b_{12}^2 &a_{21}^2 +a_{22}^2+b_{21}^2 + b_{22}^2 &a_{21}^2 +a_{22}^2+b_{31}^2 + b_{32}^2 \end{matrix} \right]$

3.求$2x_1x_2+2y_1y_2$
$AB^T$=$\left[ \begin{matrix} b_{11}^2 + b_{12}^2 &b_{21}^2 + b_{22}^2 &b_{31}^2 + b_{32}^2 \end{matrix} \right]$

参考文献:
http://blog.youkuaiyun.com/Jiajing_Guo/article/details/62217564