什么是张量

最新推荐文章于 2025-03-23 23:44:39 发布

彬彬侠

最新推荐文章于 2025-03-23 23:44:39 发布

阅读量1.6k

点赞数 29

分类专栏：数学基础文章标签： Tensor 张量机器学习

本文链接：https://blog.youkuaiyun.com/u013172930/article/details/144716925

版权

数学基础专栏收录该内容

63 篇文章

订阅专栏

张量（Tensor）是数学和物理学中的一个重要概念，用于描述多维数据和多线性关系。张量在工程、计算机科学、机器学习、物理学（特别是广义相对论）等多个领域中有广泛的应用。本文将详细介绍张量的定义、分类、表示方法、运算规则以及在各个领域中的应用。

一、张量的基本定义

1. 标量、向量与矩阵

在理解张量之前，先回顾一下标量、向量和矩阵的概念：

标量（Scalar）：零阶张量，表示一个单一的数值，例如温度、质量等。
$s = 5$
向量（Vector）：一阶张量，表示有方向和大小的量，例如速度、力等。
$\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \end{pmatrix}$
矩阵（Matrix）：二阶张量，表示二维数据或线性变换，例如旋转矩阵、协方差矩阵等。
$\mathbf{A} = \begin{pmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots & a_{mn} \end{pmatrix}$

2. 张量的定义

张量是一个多维数组，能够表示多维数据和复杂的多线性关系。更正式地，张量是一个多重线性映射，可以看作是向量空间的多线性函数。张量的阶（或称为阶数、秩）表示其维度的数量：

零阶张量：标量。
一阶张量：向量。
二阶张量：矩阵。
三阶及以上张量：多维数组。

3. 张量的阶（Rank）

张量的阶（rank）指的是其所需的索引数量。例如：

零阶张量：一个数，需要零个索引。
一阶张量：一个向量，需要一个索引。
二阶张量：一个矩阵，需要两个索引。
三阶张量：一个三维数组，需要三个索引。

$T_{ijk} \quad (\text{其中 } i, j, k \text{ 是索引})$

二、张量的表示方法

1. 组件表示

张量可以通过其在特定基底下的组件来表示。例如，一个二阶张量（矩阵）可以表示为：

$\mathbf{A} = \begin{pmatrix} a_{11} & a_{12} \\ a_{21} & a_{22} \end{pmatrix}$

一个三阶张量可以表示为一个包含多个矩阵的数组：

$\mathbf{T} = \begin{pmatrix} \begin{pmatrix} t_{111} & t_{112} \\ t_{121} & t_{122} \end{pmatrix}, \begin{pmatrix} t_{211} & t_{212} \\ t_{221} & t_{222} \end{pmatrix} \end{pmatrix}$

2. 符号表示

张量通常用大写字母表示，组件用小写字母加上下标表示。例如，三阶张量可以表示为 $\mathbf{T}$ ，其组件为 $T_{ijk}$ 。

三、张量的运算

1. 张量加法

相同阶的张量可以进行逐元素加法。例如，两个二阶张量 $\mathbf{A}$ 和 $\mathbf{B}$ 的和为：
$\mathbf{C} = \mathbf{A} + \mathbf{B} \quad \text{其中 } C_{ij} = A_{ij} + B_{ij}$

2. 标量乘法

张量可以与标量相乘，结果是每个组件都乘以该标量。例如，标量 $\alpha$ 乘以张量 $\mathbf{A}$ ：
$\mathbf{B} = \alpha \mathbf{A} \quad \text{其中 } B_{ij} = \alpha A_{ij}$

3. 张量乘法

张量乘法比向量和矩阵的乘法更为复杂，涉及到多维数组的索引匹配和求和。例如，两个二阶张量（矩阵） $\mathbf{A}$ 和 $\mathbf{B}$ 的乘积 $\mathbf{C}$ 是：
$C_{ik} = \sum_{j=1}^{n} A_{ij} B_{jk}$

4. 张量积（Tensor Product）

张量积是将两个张量组合成一个更高阶张量的运算。例如，两个向量 $\mathbf{u} \in \mathbb{R}^m$ 和 $\mathbf{v} \in \mathbb{R}^n$ 的张量积是一个 $\times n$ 的矩阵：
$\mathbf{T} = \mathbf{u} \otimes \mathbf{v} \quad \text{其中 } T_{ij} = u_i v_j$

5. 收缩（Contraction）

收缩是指在张量乘法中对某些索引进行求和的操作，类似于矩阵乘法中的行列求和。例如，一个三阶张量 $\mathbf{T}$ 与向量 $\mathbf{v}$ 的收缩可以得到一个二阶张量：
$S_{ij} = \sum_{k=1}^{n} T_{ijk} v_k$

四、张量的性质

1. 对称性

如果一个张量在交换某些索引时保持不变，则称该张量具有对称性。例如，三阶张量 $\mathbf{T}$ 对所有 $i, j, k$ 有 $T_{ijk} = T_{jik} = T_{ikj}$ 等，则 $\mathbf{T}$ 是对称张量。

2. 反对称性

如果一个张量在交换某些索引时改变符号，则称该张量具有反对称性。例如，三阶张量 $\mathbf{T}$ 对所有 $i, j, k$ 有 $T_{ijk} = -T_{jik}$ ，则 $\mathbf{T}$ 是反对称张量。

3. 稠密与稀疏

稠密张量：大多数组件非零。
稀疏张量：大多数组件为零，通常用于节省存储空间和计算资源。

五、张量在各领域的应用

1. 物理学

广义相对论：爱因斯坦引力场方程使用黎曼曲率张量来描述时空的弯曲。
$G_{\mu\nu} + \Lambda g_{\mu\nu} = \frac{8\pi G}{c^4} T_{\mu\nu}$

其中， $G_{\mu\nu}$ 是爱因斯坦张量， $T_{\mu\nu}$ 是能量-动量张量。
力学中的应力张量：描述材料内部的应力状态。

2. 计算机科学与机器学习

深度学习：神经网络的权重和激活通常表示为多维张量，张量运算用于前向传播和反向传播。
$\mathbf{W} \in \mathbb{R}^{n \times m \times k}, \quad \mathbf{X} \in \mathbb{R}^{m \times p \times q}$
图像处理：图像可以看作是三阶张量（高度、宽度、颜色通道），进行卷积等操作。

3. 数据分析与统计

多变量统计分析：协方差矩阵和相关矩阵是二阶张量，用于描述变量之间的关系。
$\Sigma = \begin{pmatrix} \sigma_{11} & \sigma_{12} & \cdots & \sigma_{1n} \\ \sigma_{21} & \sigma_{22} & \cdots & \sigma_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{n1} & \sigma_{n2} & \cdots & \sigma_{nn} \end{pmatrix}$

4. 工程学

材料科学：应力和应变被表示为张量，描述材料在不同方向上的响应。
$\sigma_{ij}, \quad \epsilon_{ij}$

5. 图像识别与自然语言处理

张量分解：用于降维和特征提取，例如在推荐系统中对用户-项目-时间数据进行张量分解。

六、张量的数学工具

1. 张量分解

张量分解是将高阶张量分解为低阶张量的乘积，常用于数据压缩、降维和模式识别。常见的张量分解方法包括：

CP分解（CANDECOMP/PARAFAC）：将张量分解为若干个向量的张量积。
$\mathbf{T} \approx \sum_{r=1}^{R} \mathbf{a}_r \otimes \mathbf{b}_r \otimes \mathbf{c}_r$
Tucker分解：将张量分解为核心张量与多个因子矩阵的乘积。
$\mathbf{T} \approx \mathbf{G} \times_1 \mathbf{A} \times_2 \mathbf{B} \times_3 \mathbf{C}$

2. 张量运算库

在编程和计算中，常用的张量运算库包括：

TensorFlow：广泛用于深度学习，支持自动微分和分布式计算。
PyTorch：灵活的张量运算库，适用于研究和生产环境。
NumPy：虽然主要用于数组运算，但也支持基本的张量操作。
Tensorly：专注于张量分解和多线性代数的Python库。

七、张量的实例分析

示例1：二维张量（矩阵）的运算

题目：设有两个二维张量（矩阵） $\mathbf{A}$ 和 $\mathbf{B}$ ，计算它们的乘积 $\mathbf{C} = \mathbf{A} \mathbf{B}$ 。
$\mathbf{A} = \begin{pmatrix} 1 & 2 \\ 3 & 4 \end{pmatrix}, \quad \mathbf{B} = \begin{pmatrix} 5 & 6 \\ 7 & 8 \end{pmatrix}$

解答：
$\mathbf{C} = \mathbf{A} \mathbf{B} = \begin{pmatrix} 1 \cdot 5 + 2 \cdot 7 & 1 \cdot 6 + 2 \cdot 8 \\ 3 \cdot 5 + 4 \cdot 7 & 3 \cdot 6 + 4 \cdot 8 \end{pmatrix} = \begin{pmatrix} 19 & 22 \\ 43 & 50 \end{pmatrix}$

示例2：三阶张量的张量积

题目：设有两个一阶张量（向量） $\mathbf{u} = \begin{pmatrix} u_1 \\ u_2 \end{pmatrix}$ 和 $\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ v_3 \end{pmatrix}$ ，计算它们的张量积 $\mathbf{T} = \mathbf{u} \otimes \mathbf{v}$ 。

解答：
$\mathbf{T} = \mathbf{u} \otimes \mathbf{v} = \begin{pmatrix} u_1 v_1 & u_1 v_2 & u_1 v_3 \\ u_2 v_1 & u_2 v_2 & u_2 v_3 \end{pmatrix}$

具体计算结果为：
$\mathbf{T} = \begin{pmatrix} u_1 v_1 & u_1 v_2 & u_1 v_3 \\ u_2 v_1 & u_2 v_2 & u_2 v_3 \end{pmatrix}$

示例3：张量分解

题目：对一个三阶张量 $\mathbf{T} \in \mathbb{R}^{2 \times 2 \times 2}$ 进行CP分解，假设分解秩 $R = 2$ 。

解答：

设 $\mathbf{T}$ 的CP分解为：
$\mathbf{T} \approx \sum_{r=1}^{2} \mathbf{a}_r \otimes \mathbf{b}_r \otimes \mathbf{c}_r$

具体步骤：

初始化因子矩阵 $\mathbf{A} = [\mathbf{a}_1, \mathbf{a}_2] \in \mathbb{R}^{2 \times 2}$ ， $\mathbf{B} = [\mathbf{b}_1, \mathbf{b}_2] \in \mathbb{R}^{2 \times 2}$ ， $\mathbf{C} = [\mathbf{c}_1, \mathbf{c}_2] \in \mathbb{R}^{2 \times 2}$ 。
通过优化算法（如交替最小二乘法）迭代更新因子矩阵，使得 $\mathbf{T}$ 与分解后的张量尽可能接近。
得到最终的因子矩阵，完成CP分解。