该笔记是我观看了吴恩达老师机器学习系列课程3-1至3-6的课程所总结的笔记。我也是刚刚接触机器学习,markdown等,文章中有诸多不成熟的地方,请大家不吝指教。
Matrix&Vector 矩阵和向量
矩阵一般用大写字母表示
A
=
[
1
2
3
4
5
6
7
8
9
]
A= \left[ \begin{matrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{matrix} \right]
A=⎣⎡147258369⎦⎤
下标分别表示行、列,用来检索特定的元素
A
22
=
5
A_{22}=5
A22=5,
A
31
=
7
A_{31}=7
A31=7
矩阵的维数:矩阵的行数
×
\times
×矩阵的列数
向量用小写字母表示,是一列多行的矩阵,一般下标从1开始
y
=
[
1
2
3
4
]
y=\left[\begin{matrix} 1 \\ 2 \\ 3 \\ 4 \end{matrix} \right]
y=⎣⎢⎢⎡1234⎦⎥⎥⎤
y
1
=
1
y_{1}=1
y1=1,
y
3
=
3
y_{3}=3
y3=3
矩阵的加法和标量乘法
进行加法的两个矩阵维度必须相同,将对应的各个元素相加即可
标量乘法是一个常数乘以一个矩阵,只需将常数和矩阵的各个元素相乘即可
矩阵的乘法
特例:矩阵向量乘法
计算y各个元素的方法
y
i
=
∑
j
=
1
n
A
i
j
×
y
j
y_{i}=\sum_{j=1}^{n}A_{ij} \times y_{j}
yi=∑j=1nAij×yj(
1
⩽
j
⩽
m
1 \leqslant j \leqslant m
1⩽j⩽m)
一般乘法
计算C各个元素的方法
C
i
j
=
∑
k
=
1
n
A
i
k
×
B
k
j
C_{ij}=\sum_{k=1}^{n}A_{ik} \times B_{kj}
Cij=∑k=1nAik×Bkj(
1
⩽
i
⩽
m
1 \leqslant i \leqslant m
1⩽i⩽m,
1
⩽
j
⩽
o
1 \leqslant j \leqslant o
1⩽j⩽o)
矩阵乘法的特征
结合律和交换律
- 矩阵乘法不符合乘法交换律
- 矩阵乘法符合乘法结合率
单位矩阵
单位矩阵是指主对角线为1,其余位置数值为0的矩阵,一般用大写字母I来表示,如
4
×
4
4\times4
4×4 单位矩阵
I
=
[
1
0
0
0
0
1
0
0
0
0
1
0
0
0
0
1
]
I= \left[ \begin{matrix} 1 & 0 & 0 & 0\\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 1 \end{matrix} \right]
I=⎣⎢⎢⎡1000010000100001⎦⎥⎥⎤
性质:对于任意矩阵A,维度
m
×
n
m \times n
m×n,则
A
×
I
n
×
n
=
I
m
×
m
×
A
=
A
A \times I_{n \times n}=I_{m \times m} \times A=A
A×In×n=Im×m×A=A
矩阵的逆运算和转置运算
逆运算
方阵:
m
×
m
m \times m
m×m 矩阵
只有方阵才有逆矩阵
如果A是一个
m
×
m
m \times m
m×m 矩阵,且如果A有逆矩阵,则
A
A
−
1
=
A
−
1
A
=
I
m
×
m
AA^{-1} =A^{-1}A=I_{m \times m}
AA−1=A−1A=Im×m
转置运算
矩阵A的转置矩阵记作
A
T
A^{T}
AT
A
i
j
T
=
A
j
i
A^{T}_{ij}=A_{ji}
AijT=Aji