组会PPT_Learning Representations from Imperfect Time Series Data via Tensor Rank Regularization

系列博客目录

---

---

下图就是一个简单的多模态图片，图像的金毛和文本的金毛，一起被模型学习，嵌入一个公共的隐空间。

什么是秩？张量秩是描述张量可以通过多少个较低阶张量的乘积来表示。先说一下矩阵的秩，比如A，他的秩为2，因为100这个向量无法通过矩阵运算得到010，他们两个竖向量是线性无关的。矩阵其实就是个特殊的张量，他是个二阶张量。然后我们再说以下这个秩为1的张量，它可以是很多阶的，一阶就是一个向量，二阶就是一个矩阵，三阶就是个三阶张量。三阶张量可以由三个向量外积得到。此时它的秩是1。
计算秩，一般是通过CPD来把它进行分解。几阶的张量当然要用几个向量进行外积得到，然后高阶张量的秩，就只能通过低阶张量进行相加来得到了，所以高阶张量的秩的大小就是构成它的低阶张量的个数。

核范数是一种衡量矩阵或张量复杂度的范数，反映了张量的低秩程度：

• 如果张量可以用少量的低秩成分表示（即 $r$ 较小），则核范数较小。
• 如果张量结构复杂，需要很多成分才能表示（即 $r$ 较大），核范数会更大。

这里就是通过经过了放缩后的佛罗贝尼乌斯范数来当作核范数的上界。

核范数是一种衡量矩阵或张量复杂度的范数，用于反映其低秩结构。以下是公式的核心解释以及对每个参数的说明：

公式回顾：
∥ X ∥ ∗ = inf ⁡ { ∑ i = 1 r ∣ λ i ∣ : X = ∑ i = 1 r λ i ( ⨂ m = 1 M w m i ) , ∥ w m i ∥ = 1 , r ∈ N } \| \mathcal{X} \|_* = \inf \left\{ \sum_{i=1}^r |\lambda_i| : \mathcal{X} = \sum_{i=1}^r \lambda_i \left( \bigotimes_{m=1}^M \mathbf{w}_m^i \right), \|\mathbf{w}_m^i\| = 1, r \in \mathbb{N} \right\} ∥X∥