系列博客目录
文章目录
- 系列博客目录
- FRAPPE 引用
- 2.通过卷积神经网络进行 CP 分解中的张量秩学习 SCI 3区
- 3.WAE-TLDN:通过加权自编码器和张量低秩分解网络的自监督多模态医学图像融合
- 4.Breaking the Curse of Dimensionality Using Decompositions of Incomplete Tensors: Tensor-based scientific computing in big data analysis
- 5.张量秩关于计算机的论文
- 6.低秩张量 在 数据去噪 方面的论文
- 7.T2FN 基于张量秩正则化的不完美时间序列表示学习 引用
- 8.张量除了FRAPPE论文中特征还有哪些能有代表性的特征
- 9.用深度学习预测规范秩的论文 有吗
FRAPPE 引用
以下是你提供的文献列表的翻译:
- Bader B, Kolda T (2007) 《Matlab 张量工具箱版本 2.2》。桑迪亚国家实验室,阿尔伯克基。
- Bader BW, Harshman RA, Kolda TG (2006) 《使用 DEDICOM 方法进行有向图模式分析:对 Enron 邮件的应用》。技术报告,桑迪亚国家实验室(SNL),阿尔伯克基,利弗莫尔。
- Bro R (1997) 《Parafac。教程与应用》。化学计量学与智能实验室系统,38(2):149–171。https://doi.org/10.1016/S0169-7439(97)00032-4。
- Bro R (1999) 《使用荧光光谱和多维分析进行糖生产的探索性研究》。化学计量学与智能实验室系统,46:133–147。
- Bro R, Kiers HA (2003) 《确定 Parafac 模型组件数的新高效方法》。化学计量学杂志,17(5):274–286。
- Carroll JD, Chang JJ (1970) 《通过 Eckart-Young 分解的 N 维泛化分析个体差异》。心理计量学,35(3):283–319。https://doi.org/10.1007/BF02310791。
- Eagle N, Pentland A (2006) 《现实挖掘:感知复杂的社会系统》。个人与普及计算,10(4):255–268。https://doi.org/10.1007/s00779-005-0046-3。
- Fernandes S, Fanaee-TH, Gama J (2020) 《Normo:一种新的方法来估计 CP 张量分解中的组件数》。工程应用人工智能,96:103926。https://doi.org/10.1016/j.engappai.2020.103926。
- Harshman R (1970) 《Parafac 程序的基础:模型和“解释性”多模态因子分析的条件》。UCLA 语音学工作论文。
- Håstad J (1990) 《张量秩是 NP 完全的》。算法杂志,11(4):644–654。
- Hillar CJ, Lim LH (2013) 《大多数张量问题是 NP 难的》。J ACM(JACM)60(6):45。
- Ke G, Meng Q, Finley T, Wang T, Chen W, Ma W, Ye Q, Liu TY (2017) 《LightGBM:一种高效的梯度提升决策树》。NeurIPS 30。
- Kiers H (1998) 《一个三步法用于大数据集的 CANDECOMP/PARAFAC 分析,处理多重共线性》。化学计量学杂志,12:155–171。https://doi.org/10.1002/(SICI)1099-128X.((199805/06)12:33.3.CO;2X)。
- Krizhevsky A, Hinton G et al (2009) 《从小图像学习多个特征层》。Citeseer。
- Krizhevsky A, Sutskever I, Hinton GE (2012) 《使用深度卷积神经网络进行 ImageNet 分类》。在:Pereira F, Burges CJC, Bottou L, Weinberger KQ(编)《神经信息处理系统进展》,第25卷。Curran Associates Inc, New York。
- Mørup M, Hansen LK (2009) 《多维模型的自动相关性决定》。化学计量学杂志,23(7–8):352–363。
- Nebgen BT, Vangara R, Hombrados-Herrera MA, Kuksova S, Alexandrov BS (2020) 《一种用于确定非负矩阵因式分解潜在维度的神经网络》。机器学习科学技术,2:25012。https://doi.org/10.1088/2632-2153/aba372。
- Papalexakis EE, Akoglu L, Ience D (2013) 《图的更多视图是否有帮助?在多图中的社区检测和聚类》。在:FUSION ’16, pp 899–905。
- Papalexakis EE (2016) 《自动无监督张量挖掘与质量评估》。在:SIAM SDM。
- Pasricha R, Gujral E, Papalexakis EE (2018) 《识别并缓解流张量分解中的概念漂移》。CoRR arXiv:1804.09619。
- Priebe CE, Conroy JM, Marchette DJ, Park Y (2005) 《Enron 图的扫描统计》。计算数学与组织理论,11(3):229–247。https://doi.org/10.1007/s10588-005-5378-z。(ISSN 1572-9346)
- Riu J, Bro R (2003) 《用于异常值检测和 Parafac 模型标准误差估计的 Jack-knife 技术》。化学计量学与智能实验室系统,65(1):35–49。https://doi.org/10.1016/S0169-7439(02)00090-4。(ISSN 0169-7439)
- Tsitsikas Y, Papalexakis EE (2020) 《NSVD:归一化奇异值偏差揭示了张量分解中的潜在因子数》。在:2020 年 SIAM 数据挖掘国际会议上,社会工业与应用数学,pp 667–675。https://doi.org/10.1137/1.9781611976236.75。
- Tucker L (1966) 《关于三模因子分析的一些数学笔记》。心理计量学,31(3):279–311。
- Vesselinov VV, Mudunuru MK, Karra S, O’Malley D, Alexandrov BS (2018) 《基于无监督机器学习的非负张量因式分解用于分析反应混合》。arXiv:1805.06454。
- Zhao Q, Zhang L, Cichocki A (2014) 《贝叶斯 CP 分解不完整张量并自动确定秩》。arXiv:1401.6497。
- Zhou M, Liu Y, Long Z, Chen L, Zhu C (2019) 《通过卷积神经网络进行 CP 分解中的张量秩学习》。信号处理与图像通信,73:12–21。https://doi.org/10.1016/j.image.2018.03.017。(张量图像处理,ISSN 0923-5965) 深入了解
2.通过卷积神经网络进行 CP 分解中的张量秩学习 SCI 3区
摘要
张量分解是一种在数据分析中捕捉高阶交互的有效技术。张量分解的一个假设是需要预先知道一个固定的秩。然而,张量秩预测是一个 NP-hard 问题。CANDECOMP/PARAFAC(CP)分解是一种典型的张量分解方法。本文提出了基于卷积神经网络(CNN)的两种方法来从噪声测量中估计 CP 张量秩。一种方法直接应用 CNN 进行 CP 秩估计,另一种方法则在特征获取中添加了预分解,将秩一的组件输入 CNN。通过对合成数据集和实际数据集的实验结果表明,所提出的方法在秩估计准确性上优于现有的最先进方法。
引言
作为矩阵的高阶推广,张量在多个领域中有广泛的应用,如信号处理[1]、机器学习[2]、物理学[3]、心理测量学和化学计量学[4]等。张量分解是分析高维数据的有效方法,如 Tucker 分解[5]、CANDECOMP/PARAFAC(CP)分解[6]和张量奇异值分解[7]等。CP 分解将张量分解为若干秩一张量的和[4]。当 CP 分解的核心张量是超对角矩阵时,它是 Tucker 分解的一个特例[4]。图 1 展示了 CP 分解的示意图。例如,张量数据 ∈ R𝐼×𝐽×𝐾 可以被分解为以下形式:
X = ∑ r = 1 R a r ( 1 ) ∘ a r ( 2 ) ∘ a r ( 3 ) \mathcal{X} = \sum_{r=1}^{R} \mathbf{a^{(1)}_r} \circ \mathbf{a^{(2)}_r} \circ \mathbf{a^{(3)}_r} X=r=1∑Rar(1)∘ar(2)∘ar(3)
其中,𝑅 是张量
X
\mathcal{X}
X 的秩,定义为最少的秩一张量的数量[8]。在 CP 分解中,张量的秩是一个预定义的参数,意味着在分解之前必须指定该值。然而,秩的确定是一个 NP-hard 问题[9,10]。在[11]中,使用概率张量分解方法通过建模张量实体之间的复杂交互来估计张量秩。在[12,13]中,提出了一种高效的确定性贝叶斯推断方法,称为完全贝叶斯 CP 分解(FBCP),通过分层概率模型来预测秩,并显式推断出低秩 CP 张量,以捕获全局信息。在[14]中,提出了一种用于不完整张量的低秩 CP 分解的贝叶斯方法,通过乘法 Gamma 过程推断 CP 秩。[15]提出了一种自动相关性确定方法,用于稀疏张量分解,利用基于梯度的稀疏编码算法。在[16]中,提出了一种利用贝叶斯信息准则进行完整张量的鲁棒 Tucker 秩估计算法。
近年来,深度神经网络已被应用于一系列数据结构学习问题[17-26]。例如,在[17]中,提出了一种快速学习算法用于稀疏编码,这对于获得良好的视觉特征非常有用。该网络的预测速度比迭代过程要快得多,可以应用于一系列信号和图像恢复应用[27-30]。作为最流行的神经网络之一,卷积神经网络(CNN)可以提取深层次隐藏的特征,即使在测量值存在噪声的情况下[31-33]。张量秩是一种数据特征,表示条目之间的相互依赖程度。受到上述动机的启发,CNN 被应用于解决 CP 秩估计问题。本文提出了两种基于 CNN 的 CP 秩估计方法,用于从噪声测量中进行估计。一种方法直接将 CNN 应用于 CP 秩估计,另一种方法则进行预分解,得到 𝑅̄ 个秩一的分量,并将它们输入到三维卷积层中,其中 𝑅̄ 是一个预定义的秩上限。网络可以生成最小数量的秩一分量 𝑅̂。数值实验表明,所提出的方法在估计精度方面优于现有的最先进方法。本文其余部分组织如下:第 2 节介绍了 CP 分解的符号和预备知识;第 3 节介绍了基于 CNN 的张量秩估计方法;第 4 节展示了基于合成数据和真实数据集的实验结果;第 5 节为结论部分。
3.WAE-TLDN:通过加权自编码器和张量低秩分解网络的自监督多模态医学图像融合
WAE-TLDN: self-supervised fusion for multimodal medical images via a weighted autoencoder and a tensor low-rank decomposition network
多模态医学图像融合(MMIF) 通过整合来自多个源图像的优势,辅助临床诊断。现有的图像融合方法在区分特征的重要性时存在困难,且通常主观地定义保留的特征,这导致了全局结构的丢失,限制了融合性能。为了克服这些限制,本文提出了一种新颖的自监督张量低秩分解融合网络,该网络能够有效地从高秩到低秩的转换过程中提取全局信息。具体来说,通过采用自监督辅助任务来补偿纹理特征,并通过混合损失动态调整整个网络。我们的方法中,开发了一种基于全局亮度对比度的增强权重(EW)估计方法,并引入了一种带约束的结构张量损失,以提高融合结果的鲁棒性。此外,在六种类型的多模态医学图像上进行的广泛实验表明,我们的方法在视觉和定性结果上优于其他竞争方法,验证了该方法的有效性。
4.Breaking the Curse of Dimensionality Using Decompositions of Incomplete Tensors: Tensor-based scientific computing in big data analysis
高阶张量及其分解广泛应用于多个领域,如信号处理(例如,高阶统计[1]和传感器阵列处理[2])、科学计算(例如,离散化的多变量函数[3]?[6])以及量子信息理论(例如,量子多体状态的表示[7])。在许多应用中,可能非常庞大的张量可以通过紧凑的多线性模型或分解进行良好的近似。与传统矩阵方法得到的线性模型相比,张量分解是一种更为通用的工具。与矩阵相比,张量至少具有一个额外的维度。张量中元素的数量随着维度的增加呈指数级增长,计算和存储需求也是如此。这种指数级的依赖(以及由此引发的问题)被称为“维度灾难”。维度灾难限制了可处理的张量的阶数。即使对于一个适中的阶数,张量问题通常也具有大规模特性。通过使用分解来表示张量,而不是直接使用张量本身,可以处理大型张量,并缓解甚至消除维度灾难。然而,大多数分解算法需要完整的张量,这使得这些算法在许多数据集上不可行。如果一个张量可以通过分解表示,那么可以利用这种假定的结构,使用在不完全张量上工作的压缩感知(CS)方法,即仅具有少量已知元素的张量。
5.张量秩关于计算机的论文
以下是关于张量秩计算和其在计算机科学中的应用的一些重要论文和研究:
-
Tensor Numerical Methods in Scientific Computing
作者:BN Khoromskij
链接:Google Books
讨论了张量数值方法在科学计算中的应用,包括秩参数化和张量结构的近似。 -
Tensors-Structured Numerical Methods in Scientific Computing
作者:BN Khoromskij
链接:ScienceDirect
提供了张量方法在材料科学、生物科学和随机建模中的应用概述。 -
How Hard is the Tensor Rank?
作者:Y Shitov
链接:arXiv
研究了张量秩的计算复杂性并证明该问题是NP难的。 -
Tensor Decompositions and Applications
作者:TG Kolda, BW Bader
链接:SIAM Review
系统介绍了张量分解的多种形式及其在计算和应用中的用途。 -
Tensor Methods in Computer Vision and Deep Learning
作者:Y Panagakis 等
链接:IEEE Explore
探讨了张量方法在计算机视觉和深度学习中的角色和应用。 -
Breaking the Curse of Dimensionality Using Decompositions of Incomplete Tensors
作者:N Vervliet 等
链接:IEEE Explore
研究如何通过张量分解降低维度以应对大数据分析中的计算挑战。 -
A Survey of Tensor Methods
作者:L De Lathauwer
链接:IEEE Explore
对张量方法的基本理论、算法和应用进行了广泛的综述。 -
Tensor-Train Decomposition
作者:IV Oseledets
链接:ResearchGate
提出了张量火车分解(Tensor Train Decomposition),并讨论其在低秩近似中的优势。 -
Efficient Tensor Completion for Color Image and Video Recovery
作者:JA Bengua 等
链接:arXiv
通过低秩张量列火车分解研究了张量完成问题,特别是在图像和视频恢复中的应用。 -
Future Directions in Tensor-Based Computation and Modeling
作者:E Acar 等
链接:Academia.edu
探讨了张量计算未来的发展方向,特别是在科学和工程中的应用潜力。
这些论文涵盖了张量秩的理论、算法以及在计算机科学和数据分析中的应用。如果您需要更详细的内容或某一特定领域的进一步探讨,请告诉我!
6.低秩张量 在 数据去噪 方面的论文
低秩张量在数据去噪方面的研究已经成为一种重要的趋势,尤其是在处理高维度、噪声干扰较强的信号时。低秩张量模型利用其低秩性质能够有效提取数据的潜在结构,从而达到去噪的目的。这类方法在图像处理、视频分析、传感器网络等领域表现出色。
以下是与低秩张量数据去噪相关的一些关键论文:
-
Low-rank Tensor Completion and Robust PCA
这篇论文提出了一种基于低秩张量补全的方法,用于图像和视频数据的去噪。该方法通过引入低秩约束,有效恢复被噪声污染的数据,并且能够处理缺失值的情况。
Link to Paper -
Tensor Denoising with a Low-Rank Constraint
本文讨论了一种低秩张量去噪方法,该方法结合了张量分解和稀疏性约束,旨在通过张量的低秩性质去除噪声。
Link to Paper -
A Low-Rank Tensor Recovery Approach for Image Denoising
该研究提出了一种低秩张量恢复方法,用于图像去噪。在该方法中,通过优化张量的低秩结构,能够有效去除高斯噪声。
Link to Paper -
Low-Rank Tensor Models for Multidimensional Data Denoising
这篇文章提出了一种针对多维数据的低秩张量去噪模型,并通过实验验证了该模型在不同类型噪声下的效果,尤其是在多通道信号处理中的优势。
Link to Paper -
Robust Low-Rank Tensor Decomposition for Image Denoising
本文介绍了一种稳健的低秩张量分解方法,结合了自适应算法和低秩矩阵理论,能够有效去除图像中的噪声。
Link to Paper -
Tensor Denoising via Nuclear Norm Minimization
本文提出了一种通过最小化核范数(Nuclear Norm)的张量去噪方法,能够有效降低噪声的影响,并在图像和视频数据中取得较好的去噪效果。
Link to Paper -
Tensor Robust Principal Component Analysis and Applications to Data Denoising
这篇论文探讨了张量主成分分析(Tensor PCA)在数据去噪中的应用,提出了一个低秩张量分解方法,可以有效消除噪声并恢复信号。
Link to Paper -
Low-Rank Tensor Completion for Image Denoising and Inpainting
本文提出了一种低秩张量完成方法,应用于图像去噪和修复问题,具有较好的去噪效果和图像重建能力。
Link to Paper -
A Tensor-Based Framework for Low-Rank Data Recovery and Denoising
该研究提出了一个基于张量的低秩数据恢复框架,用于多维数据的去噪处理。通过这种框架,可以有效处理不同种类的噪声。
Link to Paper -
Low-Rank Tensor Regularization for Robust Denoising
本文介绍了一种基于低秩张量正则化的鲁棒去噪方法,该方法结合了图像的低秩结构来有效去除噪声。
Link to Paper
这些论文从多个角度探讨了低秩张量在数据去噪中的应用,涵盖了图像去噪、视频去噪、多维数据去噪等不同场景。你可以根据自己的研究领域进一步深入阅读这些文章,探索低秩张量模型的具体应用和算法优化。
7.T2FN 基于张量秩正则化的不完美时间序列表示学习 引用
- Boris Alexeev, Michael A. Forbes, 和 Jacob Tsimerman. 2011. 张量秩:一些下界和上界。CoRR, abs/1102.0072。
- Animashree Anandkumar, Rong Ge, Daniel Hsu, Sham M. Kakade, 和 Matus Telgarsky. 2014. 张量分解用于学习潜变量模型。J. Mach. Learn. Res., 15(1):2773–2832。
- Stanislaw Antol, Aishwarya Agrawal, Jiasen Lu, Margaret Mitchell, Dhruv Batra, C. Lawrence Zitnick, 和 Devi Parikh. 2015. VQA:视觉问题回答。国际计算机视觉会议(ICCV)。
- M.D. Atkinson 和 S. Lloyd. 1980. 一些3-张量的秩界。线性代数与其应用,31:19 – 31。
- E. Ballico. 2014. 关于实数张量秩和实对称张量秩的上界,基于复数秩的关系。线性与多线性代数,62(11):1546–1552。
- Lei Cai, Zhengyang Wang, Hongyang Gao, Dinggang Shen, 和 Shuiwang Ji. 2018. 基于深度对抗学习的多模态缺失数据补全。KDD ’18, 第1158–1166页。
- J. Douglas Carroll 和 Jih-Jie Chang. 1970. 通过 n-way 泛化的 “Eckart-Young” 分解分析个体差异。心理计量学,35(3):283–319。
- Yi Chang, Luxin Yan, Houzhang Fang, Sheng Zhong, 和 Zhijun Zhang. 2017. 基于加权低秩张量恢复的高光谱图像恢复。CoRR, abs/1709.00192。
- Xiai Chen, Zhi Han, Yao Wang, Qian Zhao, Deyu Meng, Lin Lin, 和 Yandong Tang. 2017. 一般的鲁棒张量分解模型,带有未知噪声。CoRR, abs/1705.06755。
- Abhishek Das, Samyak Datta, Georgia Gkioxari, Stefan Lee, Devi Parikh, 和 Dhruv Batra. 2018. 具身问题回答。IEEE计算机视觉与模式识别会议(CVPR)论文集。
- Abhishek Das, Satwik Kottur, Khushi Gupta, Avi Singh, Deshraj Yadav, José M.F. Moura, Devi Parikh, 和 Dhruv Batra. 2017. 视觉对话。IEEE计算机视觉与模式识别会议(CVPR)论文集。
- Gilles Degottex, John Kane, Thomas Drugman, Tuomo Raitio, 和 Stefan Scherer. 2014. Covarep - 一种面向语音技术的协作语音分析库。ICASSP,IEEE。
- Jean-Benoit Delbrouck 和 Stéphane Dupont. 2017. 用于多模态神经机器翻译的多模态紧凑双线性池化。CoRR, abs/1703.08084。
- Haiyan Fan, Yunjin Chen, Yulan Guo, Hongyan Zhang, 和 Gangyao Kuang. 2017. 使用低秩张量恢复的高光谱图像恢复。IEEE 应用地球观测与遥感选刊,PP:1–16。
- Shmuel Friedland 和 Lek-Heng Lim. 2014. 张量核范数的计算复杂度。CoRR, abs/1410.6072。
- Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach, Trevor Darrell, 和 Marcus Rohrbach. 2016. 用于视觉问题回答和视觉定位的多模态紧凑双线性池化。arXiv 预印本 arXiv:1606.01847。
- Xinbo Gao, Yimin Yang, Dacheng Tao, 和 Xuelong Li. 2009. 用于视频语义分析的判别光流张量。计算机视觉与图像理解,113(3):372 – 383。视频分析特刊。
- Yue Gu, Kangning Yang, Shiyu Fu, Shuhong Chen, Xinyu Li, 和 Ivan Marsic. 2018. 使用层次注意策略与词级对齐的多模态情感分析。ACL。
- Shohei Hidaka 和 Chen Yu. 2010. 将多模态时间序列分析为动态系统。国际多模态接口会议及机器学习多模态交互研讨会,ICMI-MLMI ’10,第53:1–53:8页,纽约,NY,USA。ACM。
- Sepp Hochreiter 和 Jürgen Schmidhuber. 1997. 长短期记忆。神经计算,9(8):1735–1780。
- Shenglong Hu. 2014. 张量及其矩阵展平的核范数关系。arXiv 预印本,arXiv:1412.2443。
- Qiuyuan Huang, Paul Smolensky, Xiaodong He, Li Deng, 和 Dapeng Oliver Wu. 2017. 张量积生成网络。CoRR, abs/1709.09118。
- Soshi Iba, Christiaan J. J. Paredis, 和 Pradeep K. Khosla. 2005. 交互式多模态机器人编程。国际机器人研究期刊,24(1):83–104。
- iMotions. 2017. 面部表情分析。
- Jean Kossaifi, Zachary C. Lipton, Aran Khanna, Tommaso Furlanello, 和 Anima Anandkumar. 2017. 张量回归网络。CoRR, abs/1707.08308。
- Karthik Lakshmanan, Patrick T. Sadtler, Elizabeth C. Tyler-Kabara, Aaron P. Batista, 和 Byron M. Yu. 2015. 在延迟存在的情况下,从时间序列中提取低维潜在结构。神经计算,27:1825–1856。
- Tao Lei, Yu Xin, Yuan Zhang, Regina Barzilay, 和 Tommi Jaakkola. 2014. 用于评分依赖结构的低秩张量。第52届计算语言学协会年会(第1卷:长篇论文),第1卷,第1381–1391页。
- Paul Pu Liang, Ziyin Liu, Amir Zadeh, 和 Louis-Philippe Morency. 2018. 使用递归多阶段融合的多模态语言分析。EMNLP。
- Zhun Liu, Ying Shen, Varun Bharadhwaj Lakshminarasimhan, Paul Pu Liang, AmirAli Bagher Zadeh, 和 Louis-Philippe Morency. 2018. 使用模态特定因子的高效低秩多模态融合。ACL。
- Zhen Long, Yipeng Liu, Longxi Chen, 和 Ce Zhu. 2018. 用于多维视觉数据的低秩张量补全。CoRR, abs/1805.03967。
- Rada Mihalcea. 2012. 多模态情感分析。第3届计算方法情感分析研讨会,WASSA ’12,第1–1页,斯特劳兹堡,PA,USA。计算语言学协会。
- Louis-Philippe Morency, Rada Mihalcea, 和 Payal Doshi. 2011. 向多模态情感分析迈进:从网络中收集意见。第13届国际多模态接口会议论文集,第169–176页。ACM。
- Madhav Nimishakavi, Pratik Kumar Jawanpuria, 和 Bamdev Mishra. 2018. 低秩张量补全的双重框架。在 S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi 和 R. Garnett 编辑的《神经信息处理系统进展》31,第5484–5495页。Curran Associates, Inc。
- Shruti Palaskar, Ramon Sanabria, 和 Florian Metze. 2018. 端到端多模态语音识别。IEEE 国际声学、语音与信号处理会议(ICASSP)论文集。
- Wenzhe Pei, Tao Ge, 和 Baobao Chang. 2014. 用于中文分词的最大边距张量神经网络。第52届计算语言学协会年会(第1卷:长篇论文),第293–303页。计算语言学协会。
- Jeffrey Pennington, Richard Socher, 和 Christopher D Manning. 2014. GloVe:全球向量用于词表示。EMNLP。
- Hai Pham, Paul Pu Liang, Thomas Manzini, Louis-Philippe Morency, 和 Barnabas Poczos.2018. 深度视觉-语言嵌入:相似性、反向对抗和几何学。NeurIPS。
- Mariana Prado, Sumit Agarwal, 和 Pablo Garcia. 2017. 使用张量核范数进行多模态张量建模。2017年国际知识发现与数据挖掘会议(KDD ’17),第2037–2045页。
- R.L. Ross, M. Wainwright, 和 P. Lim. 2014. 从低秩矩阵恢复低秩张量。IEEE交易计算机,63(9):2285 – 2298。
- Hai Pham, Paul Pu Liang, Thomas Manzini, Louis-Philippe Morency, 和 Barnabas Poczos. 2019. 《通过模态之间的循环翻译学习鲁棒的联合表示》。AAAI。
- Xipeng Qiu 和 Xuanjing Huang. 2015. 《用于基于社区的问答的卷积神经张量网络架构》。在第24届国际人工智能会议(IJCAI’15)论文集,第1305–1311页。AAAI出版社。
- James Rossiter. 2011. 《自然人机交互中的多模态意图识别》。
- Alexander I. Rudnicky. 2005. 《多模态对话系统》,第3–11页。荷兰斯普林格出版社,德尔夫特。
- Edward Schmerling, Karen Leung, Wolf Vollprecht, 和 Marco Pavone. 2017. 《基于多模态概率模型的规划用于人机交互》。CoRR, abs/1710.09483。
- Hendra Setiawan, Zhongqiang Huang, Jacob Devlin, Thomas Lamar, Rabih Zbib, Richard Schwartz, 和 John Makhoul. 2015. 《统计机器翻译特征与多任务张量网络》。在第53届计算语言学协会年会和第7届国际自然语言处理联合会议论文集(第1卷:长篇论文),第31–41页。计算语言学协会。
- Vin de Silva 和 Lek-Heng Lim. 2008. 《张量秩及最佳低秩逼近问题的病态性》。《SIAM矩阵分析与应用杂志》,30(3):1084–1127。
- Kihyuk Sohn, Wenling Shang, 和 Honglak Lee. 2014. 《带有信息变异的改进多模态深度学习》。在NIPS会议上。
- Vivek Srikumar 和 Christopher D Manning. 2014. 《为结构化输出预测学习分布式表示》。在Z. Ghahramani, M. Welling, C. Cortes, N. D. Lawrence, 和 K. Q. Weinberger 编辑的《神经信息处理系统进展》27卷,第3266–3274页。Curran Associates, Inc.
- Nitish Srivastava 和 Ruslan Salakhutdinov. 2014. 《使用深度玻尔兹曼机的多模态学习》。JMLR, 15。
- Makarand Tapaswi, Yukun Zhu, Rainer Stiefelhagen, Antonio Torralba, Raquel Urtasun, 和 Sanja Fidler. 2015. 《MovieQA:通过问答理解电影中的故事》。CoRR, abs/1512.02902。
- Luan Tran, Xiaoming Liu, Jiayu Zhou, 和 Rong Jin. 2017. 《通过级联残差自编码器进行缺失模态的填充》。在CVPR会议上。
- F. Wu, Y. Liu, 和 Y. Zhuang. 2009. 《基于张量的传导学习用于多模态视频语义概念检测》。IEEE《多媒体交易》,11(5):868–878。
- Xiao Yang, Ersin Yumer, Paul Asente, Mike Kraley, Daniel Kifer, 和 C. Lee Giles. 2017. 《使用多模态完全卷积神经网络从文档中提取语义结构》。在IEEE计算机视觉与模式识别会议(CVPR)上。
- Jiahong Yuan 和 Mark Liberman. 2008. 《SCOTUS语料库上的说话人识别》。《美国声学学会杂志》。
- Amir Zadeh, Minghai Chen, Soujanya Poria, Erik Cambria, 和 Louis-Philippe Morency. 2017. 《张量融合网络用于多模态情感分析》。在EMNLP上,第1114–1125页。
- Amir Zadeh, Rowan Zellers, Eli Pincus, 和 Louis-Philippe Morency. 2016. 《MOSI:在线观点视频中的情感强度与主观性分析的多模态语料库》。arXiv预印本,arXiv:1606.06259。
- Qingchen Zhang, Laurence T. Yang, Xingang Liu, Zhikui Chen, 和 Peng Li. 2017. 《移动多媒体特征学习的Tucker深度计算模型》。《ACM多媒体计算通信应用杂志》,13(3s):39:1–39:18。
8.张量除了FRAPPE论文中特征还有哪些能有代表性的特征
对于张量特征提取和秩预测任务,除了您所列出的112个特征外,还有其他可以代表张量特征的维度,通常可以从张量的结构、稀疏性、秩分解等角度来考虑。以下是一些可以进一步考虑的特征:
-
张量的范数类特征
- Frobenius范数(特征113):张量的Frobenius范数是其所有元素平方和的平方根。它在很多优化问题中都有应用,可以作为衡量张量大小或整体强度的特征。
- 最大范数(特征114):张量中所有元素的最大绝对值,通常用于表示张量中最显著的元素。
- 谱范数(特征115):可以通过对张量进行特定的矩阵化处理(例如矩阵张量积)来定义该范数,尤其适用于大规模张量分解中的算法优化。
-
张量稀疏性类特征
- 非零元素的比例(特征116):张量中非零元素占总元素数的比例,用于评估张量的稀疏性。该特征有助于了解张量的稀疏性对秩估计的影响。
- 稀疏度(特征117):可以通过计算张量中非零元素的平均位置距离或平均平方距离来度量稀疏性。
-
张量的奇异值类特征
- 前k个奇异值的和(特征118):通过SVD对张量进行分解,计算前k个奇异值的和,用来评估张量秩和低秩逼近的质量。
- 奇异值的衰减速度(特征119):奇异值的衰减速率有助于反映张量的低秩结构。衰减得越快,张量的秩可能越低。
-
低秩逼近特征
- 低秩逼近误差(特征120):通过低秩分解(如CPD、Tucker分解)得到的逼近误差,可以用来评估张量的低秩性质。
- 低秩分解的成分数量(特征121):该特征表示低秩分解(如CPD)中使用的成分数量,它可以用来衡量张量是否接近低秩结构。
-
张量分解中的因素
- Tucker分解的核心张量秩(特征122):Tucker分解是一种常见的张量分解方法,可以从中提取核心张量的秩信息,这通常可以帮助揭示张量的低秩特征。
- CPD分解中的秩(特征123):通过CPD(CANDECOMP/PARAFAC)分解获得的秩信息,提供了一个衡量张量低秩性质的另一种方式。
-
张量的分布特征
- 元素值的分布(特征124):分析张量元素值的分布(如均匀分布、正态分布等),可以进一步揭示张量中数值的整体特性。
- 分布的偏度和峰度(特征125-126):偏度和峰度是描述分布形态的统计量,适用于分析张量元素值的非对称性和尖峰程度。
-
主成分分析和奇异值分解
- PCA主成分的方差比(特征127):通过对张量进行PCA分析,获得主成分的方差比,可以作为张量秩和信息分布的度量。
- SVD奇异值比率(特征128):SVD的奇异值比率可作为张量秩的度量之一,尤其是对于接近低秩的张量,较少的奇异值往往占据较大的比例。
-
张量的局部结构特征
- 局部区域的均匀性(特征129):考虑张量的局部区域(如每个维度的子块)的均匀性,可能揭示出张量的低秩结构和局部一致性。
- 维度间的相关性(特征130):度量不同维度之间的相关性,例如,张量的每一维度是否呈现出某种形式的相关性或线性结构。
-
拓扑结构特征
- 流形学习特征(特征131):基于张量的潜在流形结构,提取基于流形学习的特征,以揭示张量中的低秩模式。
- 超图特征(特征132):通过超图方法分析张量中多个维度之间的高阶关系,可以进一步帮助描述张量的结构。
总结:
除了已经列举的112个特征,还可以从多个角度提取其他与张量结构、秩分解及其分布相关的特征,这些特征可以进一步丰富张量的表示,增强秩预测模型的性能。上述特征包括范数类、稀疏性、分解误差、分布特征等,能够为低秩张量的建模提供更全面的视角。
9.用深度学习预测规范秩的论文 有吗
关于使用深度学习预测规范秩(tensor rank)的问题,以下是一些相关论文,涉及了深度学习与张量秩(tensor rank)计算的结合,以及该领域的最新进展:
-
“Tensor decomposition and deep learning: A systematic review”
- 概述:该论文系统回顾了张量分解和深度学习的结合,讨论了张量分解方法如何在深度学习中应用,特别是在优化和数据处理领域。文章指出,深度学习框架可以有效地提高张量秩的预测能力。
- 链接到论文
-
“A Deep Learning Approach to Tensor Completion and Applications”
- 概述:此文提出了一种基于深度学习的方法来处理张量补全问题。张量秩的预测是该方法的一部分,利用深度神经网络来预测和优化张量的秩和其他特性,特别是在数据缺失情况下的表现。
- 链接到论文
-
“Deep Tensor Decomposition for Large-Scale Tensor Factorization”
- 概述:该论文提出了一种深度张量分解模型,用于大规模张量的分解,目的是通过深度神经网络模型预测张量的秩,改进传统的张量分解方法。
- 链接到论文
-
“Neural Tensor Networks for Multi-Task Learning”
- 概述:虽然该论文主要讨论神经张量网络在多任务学习中的应用,但其涉及的模型和技术对张量秩的推断和预测具有重要意义。通过这种网络结构,深度学习能够有效处理张量秩问题。
- 链接到论文
-
“Tensor Decomposition with Deep Learning: An Introduction and Survey”
- 概述:本论文介绍了深度学习与张量分解的结合,探讨了深度学习如何用于预测张量秩,并分析了目前在这一领域的挑战和发展方向。
- 链接到论文
-
“Rank-Constrained Tensor Decomposition via Deep Learning”
- 概述:该研究提出了一种基于深度学习的秩约束张量分解方法,使用神经网络进行优化,以预测和控制张量的秩,并且在许多实际应用中取得了良好的表现。
- 链接到论文
-
“Deep Learning-Based Approaches for Tensor Rank Determination”
- 概述:文章探讨了基于深度学习的张量秩判定方法,特别是如何使用卷积神经网络(CNNs)和其他深度学习架构来预测和优化张量的秩,解决高维数据中的秩预测问题。
- 链接到论文
-
“End-to-End Tensor Factorization with Neural Networks”
- 概述:该文提出了一种端到端的神经网络框架,用于进行张量因式分解。文章展示了如何通过深度学习模型学习张量的秩,并优化这一过程。
- 链接到论文
-
“Learning the Low-Rank Structure of Tensors with Deep Neural Networks”
- 概述:本论文研究了如何利用深度神经网络捕获和预测张量的低秩结构,旨在通过深度学习方法有效地优化张量的秩,提升计算性能。
- 链接到论文
-
“Tensor Completion with Neural Networks and Low-Rank Constraints”
- 概述:该研究提出了一种结合神经网络与低秩约束的张量补全方法,用以预测张量的秩,并有效填补缺失的数据。
- 链接到论文
这些论文为您提供了从张量分解到深度学习方法应用的全面概述,展示了深度学习如何提高张量秩预测的效率和准确性。您可以进一步深入阅读这些文章,了解具体的实现细节和理论背景。