99、深度学习与量子机器学习中的张量方法

深度学习与量子机器学习中的张量方法

1. 深度学习架构中的张量方法

1.1 张量丢弃在Tucker分解中的应用

在Tucker分解里可应用张量丢弃技术，如图所示，通常使用多种随机化方式，这里采用的是伯努利丢弃，在分解的潜在子空间中，通过将核心张量沿每个模式与一系列（对角）伯努利草图矩阵 $M^{(k)} = diag(\lambda^{(k)})$ 进行收缩来实现。

1.2 基于张量的深度学习架构的应用

基于张量的深度学习架构应用广泛，具体如下：
- 计算机视觉领域 ：在生成式建模和预测分析（如图像分类）方面有诸多评估。在大规模标准基准数据集（如ImageNet）上进行了性能和有效性的严格评估，还应用于地球观测中的大规模问题，如土地覆盖分类。
- 其他特定应用 ：带有张量回归层的卷积神经网络（CNNs）用于从面部进行情感估计；随机张量回归层（TRL）用于从MRI扫描进行年龄预测，效果优于其他方法。
- 轻量级架构 ：MobileNet V1和MobileNet V2架构可视为Kruskal和Tucker卷积的特殊情况，便于移动和嵌入式应用。

1.3 张量集成到深度学习架构的优势

将张量集成到深度学习架构（如使用低秩张量分解）具有诸多优势：
- 性能优势 ：具备鲁棒性、正则化、高效性和参数减少等特性。
- 跨任务和跨领域学习 ：可利用分解诱导的结构使模型适应不同领域或促进多任