5、神经网络数学基础与概率、微积分知识全解析

神经网络数学基础与概率、微积分知识全解析

1. 线性代数基础

线性代数在神经网络中起着重要作用，涉及矩阵运算的多个方面：
- 矩阵 - 矩阵加法 ：两个或多个矩阵进行逐元素相加，得到一个新矩阵。要求所有输入矩阵大小相同。例如：
[
A + B =
\begin{bmatrix}
a_{11} & a_{12}\
a_{21} & a_{22}
\end{bmatrix}
+
\begin{bmatrix}
b_{11} & b_{12}\
b_{21} & b_{22}
\end{bmatrix}
=
\begin{bmatrix}
a_{11} + b_{11} & a_{12} + b_{12}\
a_{21} + b_{21} & a_{22} + b_{22}
\end{bmatrix}
]
- 矩阵 - 向量乘法 ：矩阵 (A) 与向量 (x) 相乘得到一个新向量。矩阵的列数必须等于向量的大小。例如：
[
Ax =
\begin{bmatrix}
a_{11} & a_{12}\
a_{21} & a_{22}\
a_{31} & a_{32}
\end{bmatrix}
\begin{bmatrix}
x_1\
x_2
\end{bmatrix}
=