99、深度学习与量子机器学习中的张量方法

深度学习与量子机器学习中的张量方法

1. 深度学习架构中的张量方法

1.1 张量丢弃在Tucker分解中的应用

在Tucker分解中可以应用张量丢弃技术。如图所示，这里采用的是Bernoulli丢弃，它通过将核心张量沿每个模式与一系列（对角）Bernoulli草图矩阵$M(k) = diag(λ(k))$进行收缩，应用于分解的潜在子空间。

1.2 应用领域

基于张量的深度学习架构有着广泛的应用：
- 计算机视觉 ：由于深度学习方法在计算机视觉领域的盛行，许多相关应用都得到了评估，包括生成式建模和预测分析（如图像分类）。在大规模标准基准数据集（如ImageNet）上，以及在地球观测中的大规模问题（如土地覆盖分类）等相关任务中，都进行了严格的性能和有效性评估。
- 其他应用 ：带有张量回归层的卷积神经网络（CNNs）被用于多种应用，如从面部进行情感估计；随机张量回归层（TRL）被用于从MRI扫描进行年龄预测，并且效果优于其他对比方法。MobileNet V1和MobileNet V2架构是轻量级架构的典型例子，可看作是Kruskal和Tucker卷积的特殊情况，适用于移动和嵌入式应用。

1.3 整合张量的优势

将张量整合到深度学习架构中，例如使用低秩张量分解，具有许多优势：
- 特性优势 ：可以带来鲁棒性、正则化、高效性和参数减少等特性。
- 跨任务和跨领域学习 ：可以利用分解所诱导的结构，使模型适应不同领域或促进多任务之间