【论文笔记】Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations

最新推荐文章于 2022-05-10 17:55:27 发布
原创 最新推荐文章于 2022-05-10 17:55:27 发布 · 4k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

这篇论文对无监督解耦表示学习的常见假设进行了质疑，通过大规模实验发现，没有归纳偏置和监督，解耦表示的学习几乎是不可能的。尽管方法能确保聚合后验维度不相关，但表示维度仍可能是相关的。此外，超参数和随机种子的影响可能大于模型选择，且未发现解耦对下游任务样本复杂性降低的证据。论文提出了未来研究的三个关键方向：归纳偏置与监督的作用、解耦表示的实际益处以及多样化的实验设置和数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

国际机器学习顶会ICML公布2019年最佳论文奖，ICML两篇最佳论文分别是：

  • 《挑战无监督解耦表示中的常见假设》，来自苏黎世联邦理工学院(ETH Zurich)、MaxPlanck 智能系统研究所及谷歌大脑；

  • 《稀疏高斯过程回归变分的收敛速度》，来自英国剑桥大学。

ICML第一篇最佳论文的作者来自苏黎世联邦理工学院(ETH Zurich)、MaxPlanck 智能系统研究所及谷歌大脑。

论文标题：挑战无监督解耦表示中的常见假设

                     Challenging Common Assumptions in the Unsupervised Learning of                                                        Disentangled Representations

作者：Francesco Locatello, Stefan Bauer, Mario Lucic, Gunnar Rätsch, Sylvain Gelly, Bernhard Schölkopf, Olivier Bachem

论文地址：

最低0.47元/天 解锁文章

200万优质内容无限畅学
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations学习与理解
qq_40824311的博客
07-14 1231
这篇论文是ICML2019两篇best paper之一，针对无监督解耦进行了分析，从理论上证明无监督解耦是不可能的，虽然知乎上存在一些对这篇论文的负面评论，但个人感觉还是对解耦这个概念理解不一致造成的，单从这篇论文中对解耦的理解，我觉得这篇文章的工作是很有意义的。下面内容仅是个人理解，难免有失偏颇，欢迎指正。 1 解耦表示 首先简单介绍一下解耦这个概念，并没有一个统一的定义，β−VAE\beta-VAEβ−VAE中有提到：A disentangled representation can be define
【论文阅读】Exploiting Label Skews in Federated Learning with Model Concatenation
最新发布
zMelodyXblue的博客
01-13 1151
其他讲解：Exploiting Label Skews in Federated Learning with Model Concatenation——利用模型级联的联邦学习中的标签偏移_联邦学习 标签偏移-优快云博客尽管现有的联邦学习（FL）方法已经在处理数据异构性问题上取得了一定进展，但它们依然面临标签偏斜问题的挑战。在标签偏斜的情况下，不同客户端之间的标签分布差异会显著降低FL模型的性能，尤其在极端的标签偏斜情况下，现有的基于模型平均的算法效果并不理想。为了应对这一问题，本文提出了一种新的方法——F
[ICML19] Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
gdtop的个人笔记
06-13 3083
谷歌等一篇名为《挑战无监督分离式表征的常见假设》的论文，表明 (没有归纳偏置的) 无监督方法学不到可靠的分离式表征 (Disentangled Representations) 。本篇是ICML2019的两篇best paper之一。 Abstract 分离式表征的无监督学习背后的关键思想是，真实世界的数据是由几个解释变量生成的，这些变量可以用无监督学习算法恢复。本文对这一领域的最新进展进行了...
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations
MTandHJ的博客
05-23 244
文章目录概主要内容 Locatello F., Bauer S., Lucic M., R"{a}tsch G., Gelly S. Sch"{o}lkopf and Bachem Olivier. Challenging common assumptions in the unsupervised learning of disentangled representations. In International Conference on Machine Leaning (ICML), 2018.
Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation笔记
lrt366的博客
05-20 610
来源：ACL2018 链接：[1804.08069] Unsupervised Discrete Sentence Representation Learning for Interpretable Neural Dialog Generation 4 源码：snakeztc/NeuralDialog-LAED 1 转自：https://bigquant.com/community/t/to...
论文笔记之：UNSUPERVISED REPRESENTATION LEARNING WITH DEEP CONVOLUTIONAL GENERATIVE ADVERSARIAL NETWORKS...
a1424262219的博客
10-15 760
UNSUPERVISEDREPRESENTATIONLEARNINGWITHDEEPCONVOLUTIONALGENERATIVEADVERSARIALNETWORKS ICLR 2016 　　摘要：近年来 CNN 在监督学习领域的巨大成功 和 无监督学习领域的无人问津形成了鲜明的对比，本文旨在链接上这两者之间的缺口。提出了一种 deep convol...
A Fast Map Merging Algorithm in the Field of Multirobot SLAM
02-09
In recent years, the research on single-robot simultaneous localization and mapping (SLAM) has made a great success. However, multirobot SLAM faces many challenging problems, including unknown robot ...
【论文笔记】Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in NLP
gjh1716718326的博客
10-19 6591
摘要 Unlike traditional supervised learning, which trains a model to take in an input x and predict an output y as P(y|x), prompt-based learning is based on language models that model the probability of text directly. To use these models to perform predicti
人脸识别-3D:Disentangled Representation Laerning for 3D Face Shape
alfred_torres的博客
03-01 2461
Disentangled Representation Learning for 3D Face Shape 探索3D人脸形状的表示学习 2019 CVPR 中科大 张举勇
论文解读：Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation
shY Pa
08-04 991
论文题目：Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation(CVPR2018 spotlight) 论文思路：主要提出跨域表征分离网络CDRD（Cross-Domain Representation Disentangler (CDRD)）以及将CDRD和条件图像翻译相结合的拓展网络ECDRD(Ext...
【论文阅读】AET:UnsupervisedRepresentationLearningbyAuto-Encoding TransformationsratherthanData
yipala的博客
02-25 2547
AETvs. AED:UnsupervisedRepresentationLearningbyAuto-Encoding TransformationsratherthanData https://arxiv.org/abs/1901.04596 基于变换的无监督训练 一个是以“预测变换”作为自监督信号进行训练的模型，代表是Rotation Net (RotNet)[1] 和AutoEncodin...
谷歌用1.2万个模型“推翻”现有无监督研究成果！斩获ICML 2019最佳论文
AI科技大本营
06-12 3837
作者 | 夕颜、Just出品 | AI科技大本营(ID:rgznai100)6 月 11 日，在美国加州长滩举行的 ICML 公布了 2019 年最佳论文奖，来自苏黎世联...
【解耦表示学习】必读论文合集推荐
AI_Conf的博客
05-10 1490
最近，腾讯AI Lab联合ETH证明其提出的变分估值有更低的解耦误差和更好的估值表现两个优异特性！ 其中涉及解耦性能、具有最佳可想象解耦误差的估值等有关解耦的知识。我们一起来简单了解一下解耦： 如果在处理复杂数据时，我们能把表现较好的神经网络和人工建模方法结合起来，可解释性、生成和操作对象的能力、无监督特征学习和零样本学习的问题，都可以在一定程度上得到解决。对于微分方程和其他人工建模方法来说，图像处理很难进行，但通过和深度学习进行结合，上述模型允许我们进行对象的生成和操作、可解释性强，最重要的是，该模型可.
阅读笔记之《DisenQNet: Disentangled Representation Learning for Educational Questions》
qq_43481435的博客
10-20 2374
《DisenQNet: Disentangled Representation Learning forEducational Questions》 DisenQNet:教育问题的解偶表示学习 来源 数据挖掘领域顶会ACM Knowledge Discovery and Data Mining（KDD） 作者 Zhenya Huang（中国科学技术大学） 研究动机/背景（Motivation） 1.教育问题的基本表示学习是在线学习系统领域中的一个基本问题，它可以用于如问题的难度分析、相似度分析等应用： 如
关于推荐系统中的DOA
qq_43481435的博客
10-08 888
Degree of Agreement（DOA）标准，也叫做满意度标准，是一种衡量用户对于所有项目喜好程度排序正确性的评价指标。
小综述 | 深度学习在数学文本相关领域的研究梳理
zenRRan的博客
11-23 844
每天给你送来NLP技术干货！作者｜龚政机构｜中国人民大学硕士二年级方向｜自然语言处理来自 |RUC AI Box近年来，随着大规模语言模型和其他深度学习技术的迅速发展，人工智能在...
论文阅读：Disentangled Representation Learning GAN for Pose-Invariant Face Recognition
sinat_29381299的博客
10-12 1581
ICCV2017的文章，主要使用multi-task的GAN网络来提取pose-invariant特征，同时生成指定pose的人脸。 下载链接： http://openaccess.thecvf.com/content_cvpr_2017/papers/Tran_Disentangled_Representation_Learning_CVPR_2017_paper.pdf 作者： M...
学习推荐的解离化表征形式Learning Disentangled Representations for Recommendation
serenysdfg的博客
12-15 3203
学习推荐的解离化表征形式：你为啥想剁手，AI能理解吗？ Learning Disentangled Representations for Recommendation -2019阿里AI顶级会议NeurIPS。 论文链接：https://arxiv.org/pdf/1910.14238.pdf 文章解读 其研究的是方向就是人和商品匹配的过程中，人的认知因素。即： 人为什么喜欢一件商品，...
Disentangled Graph Convolutional Networks解耦图卷积神经网络 ICML 2019
qq_40491207的博客
03-24 5364
文章目录相关介绍摘要main contributionsDisenGCN: the Proposed Model1. DisenConv 的基本假设2. The DisenConv Layer理论分析 论文链接：http://proceedings.mlr.press/v97/ma19a.html 相关介绍 摘要 真实世界的图通常是在许多潜在因素的高度复杂交互作用下产生的。现有的图结构数据深度学习...
The advantages and disadvantages of living in a small space.
04-03
Advantages: 1. Affordability: Small spaces tend to be more affordable than larger ones, as they require less rent or mortgage payments, and less money for utilities. 2. Less cleaning: With less space to clean, it takes less time and effort to keep the living area tidy and organized. 3. Cozy atmosphere: Small spaces can create a cozy and intimate atmosphere, making it easier to relax and feel comfortable. 4. Easy to maintain: With fewer rooms and less square footage, it is easier to maintain and repair the living space. 5. Environmental benefits: Small spaces use less energy and resources, making them more environmentally friendly. Disadvantages: 1. Limited space: Small spaces can be limiting, with less room for storage, furniture, and personal belongings. 2. Lack of privacy: With limited space, it can be difficult to have private areas and personal space, especially when living with others. 3. Cramped quarters: Small spaces can feel cramped and claustrophobic, especially if there are too many people living in the space. 4. Difficulty entertaining: Hosting guests can be challenging in a small space, as there may not be enough room for everyone to sit or move around comfortably. 5. Noise pollution: With less space, it can be harder to find quiet areas and noise can be amplified.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值