论文解读:《Learning Representations from Imperfect Time Series Data via Tensor Rank Regularization》

论文解读系列文章目录

---

---

一、张量分解

张量秩的定义与张量的分解方法密切相关，尤其是使用标准多项式分解（Canonical Polyadic, CP） 来理解张量秩。为了便于理解，我们可以通过一个简单的例子来说明：

举个例子

假设我们有一个三阶张量 $X\in {\mathbb{R}}^{2\times 2\times 2}$，表示一个 $2\times 2\times 2$ 的张量。这个张量可以看作是由3个维度组成的，每个维度有2个元素。因此，张量的形状为 $2\times 2\times 2$，即：

$$X=\left[\begin{array}{c}\left[\begin{array}{cc}{X}_{111}& X_{112}\\ X_{121}& X_{122}\end{array}\right],\left[\begin{array}{cc}{X}_{211}& X_{212}\\ X_{221}& X_{222}\end{array}\right]\end{array}\right]$$

为了简化，我们可以用以下的CP分解来表示该张量：

$$X=\sum _{i=1}^r{\mathbf{w}}_{i1}\otimes {\mathbf{w}}_{i2}\otimes {\mathbf{w}}_{i3}$$

其中，$\otimes$ 表示外积运算，${\mathbf{w}}_{i1},{\mathbf{w}}_{i2},{\mathbf{w}}_{i3}$ 分别是向量，这些向量分别对应于张量的每个维度。

假设我们选择$r=2$，即张量 $X$ 可以被表示为两个秩-1的张量的外积和。为了演示具体的分解过程，假设：

• ${\mathbf{w}}_{11}=\left[\begin{array}{c}1\\ 0\end{array}\right]$，${\mathbf{w}}_{12}=\left[\begin{array}{c}1\\ 1\end{array}\right]$，${\mathbf{w}}_{13}=\left[\begin{array}{c}1\\ -1\end{array}\right]$
• ${\mathbf{w}}_{21}=\left[\begin{array}{c}0\\ 1\end{array}\right]$，${\mathbf{w}}_{22}=\left[\begin{array}{c}1\\ 0\end{array}\right]$，${\mathbf{w}}_{23}=\left[\begin{array}{c}1\\ 1\end{array}\right]$

那么通过外积的方式，我们可以将张量 $X$ 重构为：

$$X=\left({\mathbf{w}}_{11}\otimes {\mathbf{w}}_{12}\otimes {\mathbf{w}}_{13}\right)+\left({\mathbf{w}}_{21}\otimes {\mathbf{w}}_{22}\otimes {\mathbf{w}}_{23}\right)$$

这个分解就是对张量 $X$ 的秩为2的CP分解。通过这种方式，我们可以将原始的张量表示转换为较低秩的分解，这使得在进行进一步的计算或分析时更加高效。

结论

张量的秩表示了构成该张量的最小外积向量的数量。在实际应用中，较低秩的张量通常能够更好地捕捉数据中的基本模式，适用于很多机器学习任务。通过CP分解，我们能够将复杂的张量表示转化为一组向量的外积，这也为张量的压缩和近似提供了一个强大的工具。

二、张量是什么

张量（Tensor）是多维数组的一个扩展，是一种数学对象，可以用来表示多维的数据结构。它在机器学习、深度学习、物理学、工程等领域都有广泛的应用。张量可以视为是标量、向量、矩阵等的推广，具体如下：

1. 标量（Scalar）：一个零维的张量。它是单一的数值，比如 $x=3$。

2. 向量（Vector）：一个一维张量。它是由一组标量构成的有序列表或数组，例如：$\mathbf{x}=[1,2,3]$。

3. 矩阵（Matrix）：一个二维张量。它是由一组向量构成的二维数组，例如：
   $$\mathbf{X}=\left[\begin{array}{ccc}1& 2& 3\\ 4& 5& 6\end{array}\right]$$

4. 高维张量：张量不仅限于二维，它可以有多个维度。例如，一个三维张量是一个由多个矩阵组成的数组，一个四维张量则可以看作是多个三维张量的集合。

例子

• 三维张量：想象你有一个包含多个矩阵的数据结构，这个结构可以被表示为三维张量，例如：
  $$\mathbf{T}=\left[\begin{array}{c}\left[\begin{array}{cc}1& 2\\ 3& 4\end{array}\right],\left[\begin{array}{cc}5& 6\\ 7& 8\end{array}\right]\end{array}\right]$$
  这里，矩阵之间的结构表示一个“深度”维度。三维张量的维度是 ( 2 \times 2 \times 2 )。

张量的应用

• 在 机器学习 和 深度学习 中，张量用于表示输入数据、权重矩阵、激活值等。例如，图像数据通常表示为一个三维张量（宽度 × 高度 × 通道数）。
• 在 物理学 和 工程学 中，张量用于表示更复杂的多维关系，如应力张量、惯性张量等。

张量操作

• 外积（Outer Product）：两个向量的外积会生成一个矩阵，这可以推广到高维张量之间的操作。
• 内积（Inner Product）：多个张量间的乘法和加法操作，用于计算它们之间的相似性或结合性。

总之，张量是一个广泛适用的工具，能够表示和处理复杂的多维数据。

三、张量 能够捕捉时间、特征维度和多个模态之间的重要高阶交互。在 单模态 和 多模态 任务中被广泛应用，能有效学习判别性表示。举个例子。

张量在单模态和多模态任务中的应用示例

1. 单模态任务：依赖解析（Dependency Parsing）

在 依赖解析 任务中，张量方法可以捕捉句子中单词之间的依赖关系。假设我们有一个句子：“The cat sits on the mat.”，依赖解析的任务是找出各个单词之间的语法关系，如“cat”和“sits”是主谓关系，而“on”和“mat”是介词短语的依赖关系。

• 张量的作用：
  • 单词的词向量、句子的语法树结构、词性标签等信息，可以用张量的高阶交互来表示。例如，我们可以使用一个三维张量，其中第一个维度是单词的词向量，第二个维度是词性标签，第三个维度是语法树的层次。
  • 张量能够同时捕捉时间（句子的结构）、特征维度（词的语义表示和词性）以及不同模态（如文本和句法结构）的交互，帮助模型理解句子中单词间复杂的依赖关系。

2. 多模态任务：情感推断（Multimodal Sentiment Analysis）

在 情感推断 任务中，张量方法能有效融合来自 文本、语音 和 面部表情 等多种模态的信息，来判断说话人的情感状态。

• 张量的作用：
  • 文本模态：使用文本的词向量或句子向量表示。
  • 语音模态：提取语音特征，如语调、语速等。
  • 面部表情模态：提取面部表情特征（例如通过面部表情识别模型获得的关键点）。
  • 这些不同模态的信息可以通过张量方法（例如张量积）融合在一起，以捕捉跨模态和时间的高阶交互。例如，张量的第一个维度可以表示文本特征，第二个维度表示语音特征，第三个维度表示面部表情特征，第四个维度表示时间步长。
  • 张量能够有效捕捉这些模态之间的交互，提升情感推断的准确性。

总结：
张量方法在单模态任务中能够捕捉单一任务中不同维度的交互关系（如词向量、语法结构），而在多模态任务中则能够融合多个模态（如文本、语音、视觉）间的高阶交互，从而有效地提升任务的表现和准确性。

五、张量简介

张量（Tensor） 是一种数学对象，可以看作是多维的数组或矩阵。它是线性代数的一个推广，广泛应用于深度学习、计算机视觉、自然语言处理、物理学等领域。在机器学习和数据分析中，张量是数据存储和表示的重要方式，尤其是在处理复杂数据时，如多模态学习、时序数据和高维数据。

张量的基本定义

1. 标量（0阶张量）：

   • 只有一个数值，表示零维数据。
   • 例子：( x = 5 )

2. 向量（1阶张量）：

   • 一维数组，表示一个有序的数据集合。
   • 例子：( \mathbf{v} = [1, 2, 3] )

3. 矩阵（2阶张量）：

   • 二维数组，表示一个二维数据集合。
   • 例子：( \mathbf{M} = \begin{bmatrix} 1 & 2 \ 3 & 4 \end{bmatrix} )

4. 高阶张量（3阶及以上张量）：

   • 三维或更高维的数组，表示更复杂的数据结构。
   • 例子（3阶张量）：( \mathbf{T} ) 是一个三维数组，表示一个立体数据集合，如：视频中的帧、图像的深度信息等。

---

张量在机器学习中的应用

1. 多模态学习：

   • 张量能够同时表示来自不同模态的信息（如文本、图像、声音等），并捕捉它们之间的高阶交互。
   • 例如，在情感分析中，张量可以结合文本信息（如词嵌入）、语音特征（如音调、节奏）和面部表情（如表情识别特征）来判断一个人的情感状态。

2. 时间序列分析：

   • 在处理时间序列数据时，张量可以表示多个时间步的数据。例如，视频数据或传感器数据可表示为一个三维张量，其中一个维度是时间，其他维度表示不同的传感器或特征。

3. 深度学习中的张量运算：

   • 在神经网络中，张量表示模型的输入、权重和输出。张量运算（如矩阵乘法）是神经网络训练的核心，尤其是在卷积神经网络（CNNs）和循环神经网络（RNNs）中。

4. 低秩张量分解：

   • 低秩张量分解方法常用于数据压缩和特征提取，尤其是在处理高维度数据时。张量分解通过分解高阶张量来学习数据中的潜在结构，如在推荐系统中用于表示用户-物品-时间的交互。

---

张量的优势

1. 高效表示复杂数据：

   • 张量可以自然地表示高维数据，尤其是在多模态数据的情况下。例如，视频数据可以表示为四维张量，包含时间、空间、颜色通道等信息。

2. 捕捉高阶交互：

   • 张量能够捕捉不同维度之间的高阶交互。传统的矩阵仅能捕捉两个维度之间的关系，而张量可以同时处理多个维度的交互，如时间、空间、模态等。

3. 用于深度学习模型的输入：

   • 在深度学习中，张量广泛用于表示模型的输入、权重和激活值。神经网络模型通过张量运算（如矩阵乘法、卷积等）来学习数据中的特征。

---

总结

张量作为多维数组，是处理和表示复杂数据的基础工具。它不仅适用于传统的数值计算和线性代数问题，还广泛应用于机器学习、深度学习以及多模态学习中，能够有效地捕捉时间、空间和不同模态之间的交互关系。在实际应用中，张量方法可以显著提高模型在处理高维、复杂数据时的表现。

六、张量表示已被用于学习单模态和多模态任务中的判别性表示。张量之所以强大，是因为它们能够捕捉时间、特征维度和多个模态之间的重要高阶交互。 举个简单带计算的例子

张量表示的简单示例：捕捉多模态交互

假设我们有一个简单的多模态数据集，其中包含 文本 和 图像 两种模态的信息。我们希望利用张量表示来捕捉这两个模态之间的交互。

我们将为这个例子构建一个 二维张量，其中：

• 第一个维度表示不同的 文本词汇。
• 第二个维度表示不同的 图像特征。

通过构建张量，我们可以捕捉文本和图像之间的高阶交互。

---

步骤 1: 准备数据

假设我们有如下的简化数据：

• 文本：我们选取了 3 个单词：[“狗”, “猫”, “鸟”]。
• 图像：我们从图像中提取了 2 个特征：[“颜色”, “形状”]。

我们使用一个 2维张量 $T$ 来表示这些数据，其中：

• 第一维表示 3 个单词。
• 第二维表示 2 个图像特征。

---

步骤 2: 构建张量

我们将每个单词与图像特征进行组合，形成一个张量。例如，假设我们为每个单词-特征对赋予一个数值（表示某种关联度，或者说交互值）。

张量 $T$为：

$$T=\left[\begin{array}{cc}1& 2\\ 0.5& 1.5\\ 2& 3\end{array}\right]$$

解释：

• 第一行：单词 “狗” 和图像特征 “颜色” 的交互值为 1，“狗” 和图像特征 “形状” 的交互值为 2。
• 第二行：单词 “猫” 和图像特征 “颜色” 的交互值为 0.5，“猫” 和图像特征 “形状” 的交互值为 1.5。
• 第三行：单词 “鸟” 和图像特征 “颜色” 的交互值为 2，“鸟” 和图像特征 “形状” 的交互值为 3。

---

步骤 3: 进行张量分解

我们可以对张量 $T$ 进行 CP 分解（CANDECOMP/PARAFAC），将其分解为多个秩-1张量的和。假设我们希望将 $T$ 分解为秩为 2 的张量。

CP 分解公式：

$$T\approx \sum _{r=1}^R{\mathbf{u}}_r\otimes {\mathbf{v}}_r$$

其中：

• ${\mathbf{u}}_r$ 是与单词相关的向量（第一维）。
• ${\mathbf{v}}_r$ 是与图像特征相关的向量（第二维）。
• $R$ 是秩。

这里，秩 $R=2$ 表示我们将张量 $T$ 分解为两个秩为1的张量。

---

步骤 4: 计算分解

假设分解后的张量的因子矩阵如下：

• $\mathbf{U}=\left[\begin{array}{cc}0.7& 0.3\\ 0.4& 0.5\\ 0.9& 0.1\end{array}\right]$
• $\mathbf{V}=\left[\begin{array}{cc}1.0& 0.8\\ 0.6& 1.2\end{array}\right]$

那么，张量 $T$ 可以通过两个矩阵的外积进行重构：举例：这里U的第一行可以表示为"在公园"的文本特征和"狗叫"的文本特征，与后面V，第一列就是狗的眼镜与狗的尾巴的特征。

$$T\approx \mathbf{U}\times \mathbf{V}=\left[\begin{array}{cc}0.7& 0.3\\ 0.4& 0.5\\ 0.9& 0.1\end{array}\right]\times \left[\begin{array}{cc}1.0& 0.8\\ 0.6& 1.2\end{array}\right]$$

进行矩阵乘法，得到重构的张量：

$$T\approx \left[\begin{array}{cc}0.7\times 1.0+0.3\times 0.6& 0.7\times 0.8+0.3\times 1.2\\ 0.4\times 1.0+0.5\times 0.6& 0.4\times 0.8+0.5\times 1.2\\ 0.9\times 1.0+0.1\times 0.6& 0.9\times 0.8+0.1\times 1.2\end{array}\right]$$

$$T\approx \left[\begin{array}{cc}0.78& 0.96\\ 0.74& 1.06\\ 0.96& 0.84\end{array}\right]$$

这个结果就是我们通过张量分解得到的重构张量。它接近我们原始的张量，但由于分解过程包含近似，因此重构结果与原张量有些微差异。

---

步骤 5: 解释结果

通过分解张量，我们得到了张量的低秩近似。通过这种方式，我们能够捕捉不同模态（文本和图像）之间的高阶交互关系。例如，单词 “狗” 和图像特征 “颜色” 的交互值 ( 1 ) 可以通过分解后得到的低秩张量表示，这有助于在多模态学习中处理和表示这些交互。

总结

通过这个简单的例子，我们演示了张量如何用于多模态任务中的交互表示。张量能够有效地捕捉文本和图像特征之间的高阶交互，从而为多模态学习任务提供更强的表示能力。

七、天然的多模态数据通常存在缺陷，原因包括模态本身的不完美、缺失的条目或噪声污染。模态本身的不完美是什么意思？

“模态本身的不完美”是指在多模态数据中，不同模态（如文本、图像、音频等）的数据质量可能存在固有的缺陷或不完美，具体表现为以下几个方面：

1. 模态特征的质量问题
   每种模态都有其特定的特征，这些特征的质量可能由于数据采集过程中的限制、传感器的精度、数据预处理过程中的失误等原因而受到影响。例如：

   • 文本模态：文本数据可能包含拼写错误、语法错误或词汇不准确等问题，导致语义理解困难。
   • 图像模态：图像质量可能较低，可能存在模糊、压缩失真、光照不足等问题，导致难以提取有意义的视觉特征。
   • 音频模态：语音数据可能受到噪声干扰，导致语音识别算法难以准确捕捉语音内容，或存在说话人不同、语速过快等问题。

   这些质量问题即是“模态本身的不完美”的表现。

2. 数据缺失
   在多模态学习中，不同模态的数据可能并不是在每个时间步骤都能完全同时获取。例如，在一个视频分析任务中，图像帧和语音信号可能不同步，导致某些时间点的音频或图像数据缺失。这种缺失的模态数据也是模态不完美的一个方面。

   举例来说：

   • 图像缺失：在视频数据中，某些帧可能因为摄像头故障、遮挡或者数据丢失而缺失。
   • 音频缺失：在语音识别任务中，由于麦克风问题或者语音传输中断，可能会丢失部分语音信息。

3. 噪声污染
   在多模态数据中，噪声污染通常是指无关的或干扰性的信息，这些噪声来源于各种原因，包括环境噪声、采集设备的不稳定性或者传输过程中的误差。

   例如：

   • 音频噪声：录音过程中可能有背景噪声，诸如人群喧哗、风声等，这些噪声会干扰语音识别系统的表现。
   • 图像噪声：拍摄过程中可能会出现光照变化、模糊、色差等问题，影响计算机视觉任务的准确性。

4. 不完整模态
   在多模态任务中，不同模态之间可能存在不完整的信息。例如，图像中可能没有描述文本提到的所有细节，或者语音中有某些重要的情感信息没有被文本所传达。这种模态之间的信息不完全也是模态本身的不完美。

总结

“模态本身的不完美”主要是指每个模态数据的质量问题（如错误、不准确、不完全），这些问题会影响多模态数据的融合效果和任务表现。在处理这类数据时，模态不完美可能导致信息丢失、噪声干扰，甚至无法有效捕捉模态间的交互关系，因此需要采取一些方法来提高数据质量或缓解其影响，如噪声过滤、缺失数据填充、张量分解等技术。

八、张量的秩，如何理解？

张量的秩（tensor rank）是一个用来度量张量复杂度的重要概念，它表示一个张量可以被分解成多少个更简单的张量的乘积。秩不仅仅描述了张量的维度或形状，还反映了张量的内部结构和复杂度。

1. 秩的定义：
   对于一个矩阵（2阶张量），秩是矩阵的线性独立行或列的最大数目。对于高阶张量（即超过2阶的张量），秩的定义更为复杂，通常采用分解的方法来描述。简单来说，张量秩是描述张量可以通过多少个较低阶张量的乘积来表示。
   对于高阶张量：
   高阶张量的秩（比如3阶张量、4阶张量等）指的是将张量分解成多个低秩张量的数量。具体来说，3阶张量的秩可以理解为将该张量分解成若干个秩为1的张量的最小数量。

2. 秩与分解：
   高阶张量的秩通常是通过张量分解来理解的。最常见的张量分解方法有CP分解（Canonical Polyadic Decomposition）和Tucker分解。

• CP分解：
  CP分解将一个张量表示为多个秩为1的张量的和。假设有一个三阶张量$\mathbf{X}$：
  $$\mathbf{X}=\sum _{r=1}^R{\mathbf{a}}_r\circ {\mathbf{b}}_r\circ {\mathbf{c}}_r$$其中 ${\mathbf{a}}_r,{\mathbf{b}}_r,{\mathbf{c}}_r$ 是张量的3个因子，秩为1的张量通过这三个因子的外积得到。秩 $R$ 就是张量的秩，表示通过多少个秩为1的张量的和来表示原始张量。

• Tucker分解：
  Tucker分解将张量分解为一个核心张量和若干个因子矩阵的乘积。它的目标是通过较小的矩阵来表示张量的结构，虽然它不像CP分解那样直接给出张量的秩，但可以通过其分解的因子矩阵维度间接推测张量的秩。

3. 张量秩的理解：

• 秩为1的张量：一个秩为1的张量可以表示为多个秩为1的向量外积的组合。它是张量分解中最简单的情况。

  举个例子，一个3阶张量 $\mathbf{X}$ 可以表示为：
  $$\mathbf{X}=\mathbf{a}\circ \mathbf{b}\circ \mathbf{c}$$
  其中，$\mathbf{a}$,$\mathbf{b}$, 和 $\mathbf{c}$是向量，这个张量的秩为1。

• 高秩张量：秩为 $R>1$ 的张量意味着它不能仅仅通过一个秩为1的张量表示，而是需要多个秩为1的张量的和。例如，如果一个三阶张量的秩为3，它可以表示为三个秩为1的张量的和。

4. 张量秩的复杂性：
   与矩阵秩相比，张量秩的计算是非常复杂的，特别是当张量的阶数（维度数量）增加时，张量秩的确定变得更加困难。对于矩阵来说，秩可以通过行列式、秩分解等方法直接计算，而高阶张量的秩往往需要使用一些近似的方法，如分解方法（CP分解、Tucker分解等）或基于优化的算法。

• NP难问题：计算张量的秩是一个 NP 难问题，意味着没有已知的多项式时间算法可以精确地计算高阶张量的秩。因此，通常我们会依赖近似算法来计算张量秩。

5. 张量秩的应用：
   张量秩在很多领域有着重要的应用：

• 数据压缩：通过低秩张量分解，可以有效地压缩数据。低秩张量表示能够保留数据的核心信息，同时减少存储空间。
• 信号处理：在信号处理、图像处理等领域，低秩张量分解可以帮助去噪和恢复丢失的部分。
• 多模态学习：在多模态学习中，张量秩被用于表示不同模态之间的交互关系。低秩张量表示可以捕捉到模态之间的潜在关联。
• 推荐系统：在推荐系统中，张量分解被用于建模用户、物品和上下文之间的交互，通过低秩张量表示来预测用户的偏好。

6. 张量秩的直观理解：

• 简单比喻：想象你有一个立方体，它的每个面上都有不同的信息（比如图像数据、文本数据、音频数据）。如果这些信息之间有很强的关联性，那么我们就可以通过较少的秩分量来表示这个立方体，而如果这些信息之间关联较少，则需要更多的分量来表示。这就类似于张量的秩：秩越低，表示的信息越紧凑，秩越高，表示的信息则越复杂。

7. 总结：
   张量的秩是衡量张量复杂度和表示能力的重要指标。在单模态和多模态学习中，张量秩的概念非常重要，它可以帮助我们理解数据中的高阶交互和内在结构。张量秩越低，意味着数据之间的高阶交互关系越简单，而秩越高则意味着数据之间存在更多的复杂关系。在实际应用中，张量秩的计算通常依赖于近似算法或分解方法。

九、张量的秩衡量了重构张量所需的向量数量。可以表示为向量外积的简单张量具有较低的秩，而复杂的张量则具有较高的秩。什么意思?

张量的秩衡量了重构张量时所需的最小向量数量，通常来说，秩越低，张量的复杂度越低。为了更好地理解这一点，我们需要从几个方面来分析：

1. 张量的外积表示
   张量可以通过外积来表示。当我们说张量是通过向量外积表示的时，我们指的是张量可以分解为多个低维向量的乘积。例如，三阶张量 $X$ 可以表示为多个向量 ${\mathbf{w}}_1,{\mathbf{w}}_2,...,{\mathbf{w}}_M$ 的外积，即：

$$X=\sum _{i=1}^r{\mathbf{w}}_{i1}\otimes {\mathbf{w}}_{i2}\otimes ...\otimes {\mathbf{w}}_{iM}$$

在这个表达式中，$\otimes$ 表示外积操作，${\mathbf{w}}_{im}$ 是一个向量，而 $r$ 就是张量的秩。秩越低，意味着用更少的向量就能表示张量，因此张量更简单。

2. 秩低的张量
   当张量的秩较低时，它可以被简单地表示为较少的向量的外积。比如，假设我们有一个三阶张量 $X$，如果它的秩为1，那么它可以被表示为三个向量的外积之和。例如，假设：

$$X={\mathbf{w}}_1\otimes {\mathbf{w}}_2\otimes {\mathbf{w}}_3$$

这种情况下，张量只需要一个外积来表示，结构非常简单，数据中包含的信息比较少，因此它是低秩的。

3. 秩高的张量
   相反，当张量的秩较高时，表示它需要更多的向量才能充分表示。在这种情况下，张量的数据结构更为复杂，包含的信息更多。比如，如果秩为3的张量，可能需要3个向量的外积来表示每个维度的交互信息，因此这种张量的结构更复杂，所需要的计算和存储也更多。

4. 低秩 vs 高秩

• 低秩张量：如果张量的秩低，意味着它的数据可以通过相对较少的向量表示。例如，一个低秩的张量可能具有某些重复模式或者冗余，能够通过简单的低秩分解来还原。
• 高秩张量：如果张量的秩高，表示该张量的数据结构更为复杂，没有太多的冗余信息，因此需要更多的向量来表示。

例子说明
假设我们有一个三维的张量，表示三个维度（例如，时间、用户和商品）上的交互情况。如果这个张量具有低秩，可能意味着这些交互存在一定的规律性，可以通过几个向量的外积来表达。但如果张量的秩很高，则表示这些交互没有明显的规律性，必须使用更多的向量来完整地描述。

低秩张量的例子：
例如，一个三阶张量可以表示为以下的低秩分解：

$$X={\mathbf{w}}_1\otimes {\mathbf{w}}_2\otimes {\mathbf{w}}_3$$

这个张量的秩是1，因为它由三个向量的外积表示，结构简单。

高秩张量的例子：
如果秩是3，则需要三个外积来表示张量：

$$X={\mathbf{w}}_1\otimes {\mathbf{w}}_2\otimes {\mathbf{w}}_3+{\mathbf{w}}_4\otimes {\mathbf{w}}_5\otimes {\mathbf{w}}_6+{\mathbf{w}}_7\otimes {\mathbf{w}}_8\otimes {\mathbf{w}}_9$$

这样，张量的结构就更复杂了，包含更多的信息和交互，因此秩较高。

总结

• 张量秩衡量了构成张量的最小外积的数量。
• 秩较低的张量可以通过少量向量的外积表示，说明其数据结构较简单，存在更多的冗余。
• 秩较高的张量需要更多的向量外积才能表示，意味着数据更复杂，包含的信息更多。

十、M的属性 可以是什么 举个例子

在多模态学习中，张量 $M$ 的属性通常指的是它在特定任务或上下文中的关键特征或表现。例如，$M$ 的属性可以是它包含的信息类型、交互的复杂性、数据的质量等。具体来说，$M$ 的属性可以包括：

1. 秩（Rank）

   • 定义: 张量的秩反映了其表示数据所需的最小因子数量。秩是张量的重要属性之一，通常用于衡量数据的复杂性或模态间交互的层次。
   • 举例: 如果一个三模态张量 $M$（例如，视觉、音频和文本）通过低秩张量分解表示，那么它的秩较低，表示视觉、音频和文本之间的交互较为简单。如果数据中有噪声或缺失信息，秩会增加，表示交互变得更复杂。

2. 稀疏性（Sparsity）

   • 定义: 稀疏性指的是张量中零元素的比例。一个稀疏的张量包含很多零元素，意味着数据中有很多缺失或无信息的部分。
   • 举例: 在图像分类任务中，如果一些图像的像素数据丢失，生成的张量会表现为稀疏张量，这影响模型的学习效果。

3. 重构误差（Reconstruction Error）

   • 定义: 重构误差指的是通过张量分解或其他方法重建张量时与原始张量之间的差异。重构误差的大小直接与张量的秩相关。
   • 举例: 在T2FN模型中，如果我们通过低秩分解重建张量 $M$，重构误差 $ϵ$ 会告诉我们当前秩是否足够捕捉到数据的复杂性。低秩分解时，误差小，表示张量的秩已经足够；高秩分解时，误差大，可能表示数据中有噪声或缺失信息。

4. 模态间的交互（Interactions between Modalities）

   • 定义: 张量的一个关键属性是它能够表示不同模态（例如视觉、音频、文本）之间的交互。这些交互可能非常简单（低秩）或非常复杂（高秩），取决于数据的质量。
   • 举例: 在情感分析任务中，张量 $M$ 可能包含视频、音频和文本信息。通过分析 $M$ 中模态间的交互，我们可以推断视频中说话者的情感状态。如果张量中的交互较为简单（低秩），可能表示不同模态之间的关系较为直接；而如果交互较为复杂（高秩），则可能表示模态之间的关系更加复杂（例如，语音情感和视觉表情之间的细微联系）。

5. 数据质量（Data Quality）

   • 定义: 数据质量可以通过张量的噪声水平或缺失数据来衡量。例如，某些元素可能由于模态缺失或传感器故障而丢失或受到噪声影响。
   • 举例: 如果我们使用视频数据来构建一个情感分析的张量，并且视频中的某些帧丢失，那么张量 $M$ 就会具有不完美的属性（例如噪声或缺失值）。这会影响模型的预测能力，特别是在使用张量分解时，秩的增加可以用来捕捉这种复杂性。

6. 多样性（Diversity）

   • 定义: 多样性指的是张量表示的各个模态及其特征的多样性和丰富性。例如，张量中的某些维度可能具有不同的表达能力或信息丰富程度。
   • 举例: 在视频分析中，视觉模态可能包含丰富的空间信息，而音频模态则包含时间序列信息。如果这些模态之间的交互复杂多样，那么张量 $M$ 就会展现出较高的秩，表明它们之间存在丰富的高阶交互。

---

例子：多模态情感分析中的张量属性

假设我们有一个情感分析任务，其中我们需要从视频中提取信息。数据来自三个模态：

• 视觉模态: 图像中的面部表情和身体语言。
• 音频模态: 语音的情感特征（如音调、语速）。
• 文本模态: 说话者的语言内容。

我们使用张量 $M$ 来表示这些模态之间的交互，$M$ 的属性可以是：

• 秩：如果视频的面部表情和语音的情感特征高度相关，可能会表现为低秩张量；如果两者之间没有明显的相关性，则张量的秩可能会更高。
• 稀疏性：如果某些视频帧或音频片段丢失，张量就会变得稀疏，含有许多零值。
• 重构误差：如果我们使用张量分解方法（如CP分解）来重建张量$M$，那么重构误差可以用来评估张量的秩是否足够。
• 模态间交互：分析视觉、音频和文本之间的交互，可以揭示说话者情感状态的变化。例如，面部表情和音频信号可能会表现出强烈的交互，而文本信息则提供了更多的背景或情绪信息。

通过这些属性，我们可以推理和优化模型的表现，特别是在面对数据不完美（如噪声、缺失值或模态间不一致）的情况下。