6、线性变换、张量与线性系统求解基础

线性变换、张量与线性系统求解基础

1. 向量空间的闭包与线性变换

在向量空间中，闭包性质可以扩展到任意维度。不过，球面上的点集在进行线性组合时并不满足闭包性质，因为连接球面上任意两点的直线不会完全落在球面上。

在机器学习和数据科学中，输入通常是高维空间中的特征向量，每个维度对应输入的一个特定属性，特征向量可视为特征空间中的一个点。为了便于分析，我们常将这些点变换到更友好的空间。例如，构建分类器时，会尝试将输入变换到不同类别点更易分离的空间；有时也会进行变换以简化数据，消除数据变化不大的轴。

下面介绍两种常见的变换矩阵：
- 旋转矩阵 ：
- 考虑矩阵 (R = \begin{bmatrix}\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \ -\frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}}\end{bmatrix})，它是一个旋转矩阵，可将二维平面上的点映射到同一平面的另一点，数学表示为 (R : \mathbb{R}^2 \to \mathbb{R}^2)。乘以该矩阵会使二维平面上点的位置向量旋转 (45^{\circ})。
- 投影矩阵 ：
- 矩阵 (P = \begin{bmatrix}1 & 0 & 0 \ 0 & 1 & 0\end{bmatrix}) 可将三维点投影到二维 (X - Y) 平面，即 (P\begin{bmatrix}x \ y \ z\end{bmatrix} = \begin{bmatrix}x \ y\end{bmatri