Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering-ICML 2017

深度神经网络实现DR与K-means联合聚类
最新推荐文章于 2024-01-10 21:14:13 发布
原创 最新推荐文章于 2024-01-10 21:14:13 发布 · 650 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #机器学习

多数学习方法顺序处理降维(DR)和聚类，而联合优化可提升性能。本文假定从潜在空间到数据的转换为未知非线性函数，提出DR和K-means联合聚类方法，通过学习深度神经网络完成DR，设计了DNN结构与联合优化准则及算法，实验验证了方法有效性。

大多数学习方法分别处理降维(DR)和聚类(即顺序)，但最近的研究表明，联合优化这两个任务可以显著提高两者的性能。后者的前提是数据样本是通过容易聚类的潜在表示的线性变换获得的;但在实践中，从潜在空间到数据的转换可能会更加复杂。在这项工作中，我们假定这个变换是一个未知的，可能是非线性的函数。为了恢复“聚类友好型”潜在表示并更好地聚类数据，我们提出了一种DR和K-means联合聚类方法，其中DR是通过学习深度神经网络(DNN)来完成的。其动机是保持联合优化两个任务的优势，同时利用深度神经网络近似任何非线性函数的能力。这样一来，所提出的方法可以很好地应用于广泛的生成模型。为此，我们精心设计了DNN结构和相关的联合优化准则，并提出了一种有效的、可扩展的算法来处理制定的优化问题。利用不同的实际数据集进行实验，验证了该方法的有效性。

在这里插入图片描述

聚类损失：

在这里插入图片描述

VLU
关注
专栏目录
文献阅读(part2)--Towards K-means-friendly spaces Simultaneous deep learning and clustering
小山羊的学习日志
10-13 1093
学习笔记，仅供参考 文章目录AbstractIntroductionBackground and Related WorksProposed FormulationOptimization ProcedureInitialization via Layer-wise Pre-Training(通过分层预训练进行初始化)Alternating Stochastic OptimizationExperiments合成数据演示Real-Data Validation(实时数据验证)Conclusion Ab
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 6625
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
论文笔记：Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering
GYY8023的博客
05-05 4080
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering1 摘要2 相关工作3 提出方法 1 摘要 降维和聚类是现在研究的两大任务。数据样本通过易于聚类的潜在表示得到的，但是实际上，潜在空间到数据的变换可能更复杂。本文将这个变换假设为一种未知的，可能是非线性函数。为了获得聚类友好型的潜层表示和更好的聚类效果...
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering论文笔记
昼
11-27 617
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering论文链接零碎知识网络架构损失函数优化预训练分步训练重构损失聚类损失 论文链接 零碎知识 因为在数据的隐层表达学习过程中没有一个明确的聚类促进目标，所以训练出来的结果可能时好时坏。 网络架构 整体和普通的autoencoder一样，只不过在损失函数处增加一个聚类损失。这篇文章中的decoder和encoder是完全对称的。 损失函数 xix_ixi​是数据
论文解读（DCN）《Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering》
www_xuhss_com的博客
06-29 960
为了恢复“聚类友好”的潜在表示并更好地聚类数据，我们提出了一种联合 DR (dimensionality reduction) 和 K-means 的聚类方法，通过学习深度神经网络(DNN)来实现 DR。给定样本集 {xi}i=1,…,N{xi}i=1,…,N\left{\boldsymbol{x}_{i}\right}_{i=1, \ldots, N} ，xi∈RMxi∈RM\boldsymbol{x}_{i} \in \mathbb{R}^{M}。聚类的任务是将 NNN 个数据样本分成 KKK 类。K-
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering解析
qq_40604352的博客
03-31 2086
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering解析 因为最近会经常用到聚类，并且对于深度聚类的了解较少，所以准备从这篇比较经典的开始， 论文地址：论文地址 论文代码：代码 背景 大多数的学习任务都需要用到降维和聚类，不过一般来说都是分开进行降维和聚类的，但是最近的研究表明同时优化两种任务，这两者可以相互提升性能。 K-means一般只适合聚类K-means友好型数据，即样本在聚类中心周围均匀的分布，所以我们
论文笔记：Structural Deep Clustering Network
qq_44015059的博客
06-09 6257
前言 图神经网络已经在很多领域得到了广泛的引用,如计算机视觉,自然语言处理和推荐. 那么,图神经网络能不能提升一些基础机器学习任务(如聚类)的表现呢? 本文首次将GNN用到聚类上,提出了一种基于GNN的深度聚类算法 Structural Deep Clustering Network. 论文链接：https://arxiv.org/abs/2002.01633 github：https://github.com/lxk-yb/SDCN 1.介绍 随着深度学习的突破，神经网络在聚类等许多重要任务上取得了巨大成
CCF A类会议或期刊----近两年自监督相关论文
Thincor的博客
03-19 5841
会议/期刊 论文 neurips2020 Self-Supervised MultiModal Versatile Networks. neurips2020 Self-Supervised Relationship Probing. neurips2020 Cross-lingual Retrieval for Iterative Self-Supervised Training. neurips2020 Adversarial Self-Supervised Contrast....
WWW2020 结构深度聚类网络
weixin_45519842的博客
02-18 1153
“图神经网络已经在很多领域得到了广泛的引用,如计算机视觉,自然语言处理和推荐. 那么,图神经网络能不能提升一些基础机器学习任务(如聚类)的表现呢?本文首次将GNN用到聚类上,提出了一种...
【文献阅读笔记】Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering和他的前置文献
weixin_42949680的博客
01-10 1147
Towards K-means-friendly Spaces: Simultaneous Deep Learning and Clustering 和 Learning From Hidden Traits: Joint Factor Analysis and Latent Clustering的文献笔记，可能存在理解错误，欢迎留言指正
Clustering-with-Deep-learning:深度学习集群的通用实现
05-02
集群深度学习 实验室课程“计算机视觉和生物医学的深度学习”-TUM下的项目“用于集群的深度学习”的代码。 取决于numpy ， theano ，烤宽面条， scikit-learn ， matplotlib 。 贡献者 （主管） 相关论文： 该存储库是本文的实现：Elie Aljalbout，Vladimir Golkov，Yawar Siddiqui，Daniel Cremers“通过深度学习进行聚类：分类法和新方法” arxiv： ：//arxiv.org/abs/1801.07648 用法 使用主脚本来训练，可视化集群和/或报告集群指标 python main.py <options> 选项 -d DATASET_NAME, --dataset DATASET_NAME (Required) Dataset on which autoencoder is to be tra
基于802.15.4标准的2.4GHzCC2430资料包
06-24
基于802.15.4标准的2.4GHzCC2430资料包包含CC2430DataSheet、cc2430dk原理图及PCB库文件、zigbee组网演示程序、点对点无线收发演示、DS18B20温度采集及串口通信演示、IEEE地址编程工具、字模软件等
图片速览 DCN K-means-friendly Spaces: Simultaneous Deep Learning and Clustering
weixin_46414659的博客
07-22 109
本文使用了一种交替更新网络参数和中心的方法。在网络更新完成之后，对于固定的网络参数和 M，再更新当前样本的分配向量。然后根据新的分配结果如式子3.8更新聚类中心：注：文中还有问题是否能进行的部分。
Deep learning in graph clustering 论文两篇
DawnRanger的专栏
08-16 4912
1. Learning Deep Representations for Graph Clustering论文信息：Tian, Fei, et al. “Learning Deep Representations for Graph Clustering.” AAAI. 2014.来自微软亚洲研究院，这是最早将深度学习应用于图聚类问题(graph clustering)的文章。论文的思路非常简单，首
深度聚类综述及论文整理
热门推荐
u013779568的博客
08-23 1万+
A Survey of Clustering With Deep Learning: From the Perspective of Network Architecture (2018 c94) 一、基本概念 聚类的目的： 基于一些相似性度量将类似数据分类为一个聚类。 传统的聚类方法： 基于分区的方法，基于密度的方法，分层方法 传统聚类的劣势： 使用的相似性度量方法效率低下，传统聚类方法在高维数据上的性能较差，在大规模数据集上具有较高的计算复杂度。 解决手段： 降维和特征转换，将原始数据映射到新的特征空间
python层次聚类选择类别_机器学习——传统聚类、LDA、深度学习聚类方法
weixin_42620563的博客
01-01 1307
聚类的应用场景没有分类广泛，而由于无监督其算法效果也不足以运用到生产环境中去，不过其仍然是机器学习中的一个重要组成部分。文本聚类常见的应用场景就是文档标签生成，热点新闻发现等等，另外，在处理文本特征时，也可以使用聚类形成特征的低维表示。本文主要从基于特征、潜在语义分析、深度学习两个类型的方法来描述文本聚类这个任务。一、基于文本特征的方法特征表示文本在分类和聚类的任务中，其特征表示都是一...
ICML 2017 paper
qq_34848537的博客
10-08 2435
参考链接 icml 2017 acceptedPaper Paperlist Relative Fisher Information and Natural Gradient for Learning Large Modular Models Priv’IT: Private and Sample Efficient Identity Testing Being Robust (in High...
【论文阅读】Deep Clustering for Unsupervised Learning of Visual Features
baobo8666的博客
10-25 1232
文章：Deep Clustering for Unsupervised Learningof Visual Features 作者：Mathilde Caron, Piotr Bojanowski, Armand Joulin, and Matthijs Douze 来自于：Facebook AI Research 发表于：ECCV 2018 目录 •相关链接 •...
Towards Cost-Effective Learning: A Synergy of Semi-Supervised and Active Learning
最新发布
09-25
由于没有提供具体的参考引用内容，以下是一些基于一般性知识对《Towards Cost - Effective Learning: A Synergy of Semi - Supervised and Active Learning》可能涉及内容的推测。 该研究可能聚焦于如何将半监督学习和主动学习相结合以实现更具成本效益的学习方式。半监督学习利用大量未标记数据和少量标记数据进行学习，而主动学习则通过主动选择最有价值的数据进行标记来提高学习效率。二者结合可能在减少标记数据成本的同时，提升模型的性能和泛化能力。 在实际应用中，这种结合可能会用于图像识别、自然语言处理等领域，以在有限的资源下取得更好的学习效果。例如，在图像识别任务中，主动选择一些具有代表性的图像进行标记，然后结合大量未标记图像进行半监督学习，从而在不标记大量图像的情况下获得高精度的识别模型。 ```python # 这里简单模拟一个可能的主动学习和半监督学习结合的伪代码框架 # 假设我们有一些未标记数据和少量标记数据 unlabeled_data = [...] labeled_data = [...] # 主动学习选择最有价值的数据进行标记 def active_selection(unlabeled_data, model): # 选择最有价值的数据的逻辑 selected_data = ... return selected_data # 半监督学习更新模型 def semi_supervised_learning(model, labeled_data, unlabeled_data): # 半监督学习的训练逻辑 updated_model = ... return updated_model # 循环进行主动学习和半监督学习 model = ... for i in range(num_iterations): selected_data = active_selection(unlabeled_data, model) # 标记选择的数据 labeled_data.extend(selected_data) model = semi_supervised_learning(model, labeled_data, unlabeled_data) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值