7、机器学习中的线性系统、特征值与旋转矩阵

机器学习中的线性系统、特征值与旋转矩阵

1. 超定线性系统与最小误差求解

在实际的机器学习和数据科学问题中，常常会遇到超定线性系统。例如，有如下的超定线性系统：
[
\begin{bmatrix}
0.11 & 0.09 & 1 \
0.01 & 0.02 & 1 \
0.98 & 0.91 & 1 \
0.12 & 0.21 & 1 \
0.98 & 0.99 & 1 \
0.85 & 0.87 & 1 \
0.03 & 0.14 & 1 \
0.55 & 0.45 & 1 \
0.49 & 0.51 & 1 \
0.99 & 0.01 & 1 \
0.02 & 0.89 & 1 \
0.31 & 0.47 & 1 \
0.55 & 0.29 & 1 \
0.87 & 0.76 & 1 \
0.63 & 0.74 & 1
\end{bmatrix}
\begin{bmatrix}
w_0 \
w_1 \
b
\end{bmatrix}
=
\begin{bmatrix}
-0.8 \
-0.97 \
0.89 \
-0.68 \
0.95 \
0.74 \
-0.88