《Deep Fusion Clustering Network》启发

在想第二个点的时候,想到这篇论文,看看从中能不能提取什么内容加入到现有模型中

Abstract

观点

将AE和图神经网络结合起来,利用结构信息提高性能

现有问题

  1. dynamic fusion mechanism
    选择性的整合图结构信息和属性信息进行共识学习
  2. robust target distribution n (i.e., “groundtruth” soft labels)
    说是无法从两边(属性信息+结构信息?)提取信息来生成鲁棒的目标分布
    我理解的是类似DEC的KL散度

做法

  1. 提出基于相互依赖学习的结构和属性信息融合模块,显示合并AE和GAE
  2. 设计一个目标分布生成度量和三重自监督,便于跨模态信息利用

Intro

深度聚类的性能:决定于优化目标和特征提取的方式

Two important factors, i.e., the optimization objective and the fashion of feature extraction, significantly determine the performance of a deep clustering method

之前的方法的问题:

  1. 缺乏跨模态动态信息的融合和处理机制,只是简单对其或连接,信息交互不足(21年的论
### 回答1: 很高兴为您推荐这些多模态模型!这里是20个推荐的模型: 1. 基于内容的协同过滤(Content-based Collaborative Filtering) 2. 协同过滤(Collaborative Filtering) 3. 基于图的协同过滤(Graph-based Collaborative Filtering) 4. 基于协同过滤的自动标注(Collaborative Filtering-based Automatic Tagging) 5. 多任务学习(Multi-task Learning) 6. 多模态降维(Multi-modal Dimensionality Reduction) 7. 多模态聚类(Multi-modal Clustering) 8. 多模态神经机器翻译(Multi-modal Neural Machine Translation) 9. 多模态信息检索(Multi-modal Information Retrieval) 10. 多模态文本分类(Multi-modal Text Classification) 11. 多模态文本生成(Multi-modal Text Generation) 12. 多模态语音识别(Multi-modal Speech Recognition) 13. 多模态情感分析(Multi-modal Sentiment Analysis) 14. 多模态视觉问答(Multi-modal Visual Question Answering) 15. 多模态视觉对话(Multi-modal Visual Dialogue) 16. 多模态视觉描述(Multi-modal Visual Description) 17. 多模态视觉目标检测(Multi-modal Visual Object Detection) 18. 多模态图像生成(Multi-modal Image Generation) 19. 多模态图像分类(Multi-modal Image Classification) 20. 多模态图像检索(Multi-modal Image Retrieval) 希望这些模型能对您有所帮助! ### 回答2: 以下是推荐给您的20个比较流行的多模态模型: 1. FusionNet:将多个模态的信息进行融合的神经网络模型。 2. CMTF:基于张量分解的多模态数据建模方法。 3. M3N:结合多模态特征的最大间隔马尔科夫网络模型。 4. DeepFuse:基于深度学习的多模态图像融合模型。 5. MMFA:基于因子分析的多模态因子模型。 6. TriModalNet:结合图像、文本、语音多模态信息的神经网络模型。 7. Cross-Modal Retrieval:用于跨模态检索任务的模型。 8. TRL:基于图像文本关系知识的多模态迁移学习模型。 9. Multi-Channel Compact Bilateral Attention Network:用于视频目标检测的多模态模型。 10. Mixture of Experts:结合多个模态的专家模型。 11. Multi-modal Transformer:使用Transformer模型结合多模态信息进行任务建模。 12. Multi-modal Variational Autoencoder:结合变分自编码器的多模态生成模型。 13. Bi-STMM:结合文本和图像信息的时空多模态建模模型。 14. Multi-model Deep Neural Networks:结合多个深度神经网络模型的多模态学习方法。 15. Dual-bootstrap AutoEncoders:用于图像和文本的多模态特征学习模型。 16. Multimodal Partial Least Squares Regression:用于多模态数据回归建模的模型。 17. HMTL:基于混合注意力机制的多模态迁移学习模型。 18. Deep Cross-Modal Hashing:用于多模态数据哈希学习的深度模型。 19. DeepSES:多模态情感分析任务中的深度学习模型。 20. MVAE-GAN:结合变分自编码器和生成对抗网络的多模态生成模型。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值