论文解读:《Learning Representations from Imperfect Time Series Data via Tensor Rank Regularization》

论文解读系列文章目录

---

---

一、张量分解

张量秩的定义与张量的分解方法密切相关，尤其是使用标准多项式分解（Canonical Polyadic, CP） 来理解张量秩。为了便于理解，我们可以通过一个简单的例子来说明：

举个例子

假设我们有一个三阶张量 $X\in {\mathbb{R}}^{2\times 2\times 2}$，表示一个 $2\times 2\times 2$ 的张量。这个张量可以看作是由3个维度组成的，每个维度有2个元素。因此，张量的形状为 $2\times 2\times 2$，即：

$$X=\left[\begin{array}{c}\left[\begin{array}{cc}{X}_{111}& X_{112}\\ X_{121}& X_{122}\end{array}\right],\left[\begin{array}{cc}{X}_{211}& X_{212}\\ X_{221}& X_{222}\end{array}\right]\end{array}\right]$$

为了简化，我们可以用以下的CP分解来表示该张量：

$$X=\sum _{i=1}^r{\mathbf{w}}_{i1}\otimes {\mathbf{w}}_{i2}\otimes {\mathbf{w}}_{i3}$$

其中，$\otimes$ 表示外积运算，${\mathbf{w}}_{i1},{\mathbf{w}}_{i2},{\mathbf{w}}_{i3}$ 分别是向量，这些向量分别对应于张量的每个维度。

假设我们选择$r=2$，即张量 $X$ 可以被表示为两个秩-1的张量的外积和。为了演示具体的分解过程，假设：

• ${\mathbf{w}}_{11}=\left[\begin{array}{c}1\\ 0\end{array}\right]$，${\mathbf{w}}_{12}=\left[\begin{array}{c}1\\ 1\end{array}\right]$，${\mathbf{w}}_{13}=\left[\begin{array}{c}1\\ -1\end{array}\right]$
<