本文介绍了一种名为SynVAE的跨模态无监督学习框架，该框架能够在缺乏视觉和音频对应数据集的情况下，通过Synesthetic变分自编码学习视觉和音频之间的对应关系。在MNIST和BAM数据集上的实验证明了其有效性，特别是在保持信息一致性和生成图像与音乐匹配的准确性方面。
主要解决的问题：在缺乏视觉和音频对应数据集的情况下，使用Synesthetic变分自编码来学习视觉和音频对应。
主要描述
通过在MNIST和BAM数据集上，展示SynVAE相对于保持交叉模型空间一致性方法，在转换过程中更能保持有效信息。在质量评估实验中，人类评估人员还能够将音乐样本与生成的图像进行匹配，准确率高达73%。
系统架构
SynVAE框架：一张图像首先通过VisVAE编码器编码成一个隐藏向量，在进行解码前，使用MusicVAE解码器解码为音乐。在训练过程中，音乐作为一个中间过程进行重新编码得到
，通过Music VAE编码和通过VisVAE解码重建输出图像。
BAM评估
主要工作：
（1）提出SynVAE架构实现从范围图像转化到音频音乐，通过无监督学习机制；
更多《计算机视觉与图形学》知识，可关注下方公众号：
扫一扫
358
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
