论文解读 Clustering Very Large Multi-dimensional Datasets with MapReduce [KDD 2011]

最新推荐文章于 2026-01-08 15:41:03 发布
原创 最新推荐文章于 2026-01-08 15:41:03 发布 · 172 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #数据挖掘 #聚类 #MapReduce

本文介绍了一种名为BoW的算法，该算法在大规模数据环境下动态选择最优策略，提高了聚类效率。通过实验验证了其有效性和可扩展性，并基于2011年业内最大规模的真实数据进行了验证，展现了算法的创新性和实用性。

PPT资源

已制成Latex Beamer版的Slides，下载链接

本文总结

本文贡献

  • 提出 BoW 算法，通过不同的情况下，动态选择更佳的方法，达到提高效率的目的

  • 通过实验验证了算法的有效性和可规模化

  • 基于真实数据进行实验，而且是当时 (2011) 业内最大规模的数据，可信度高

个人看法

  • 充分利用了在海量数据下，2-8 定律所呈现出的数据特点，针对性想出有创新的方法
  • 基于系统层面的创新，而不是拘泥于单纯的聚类算法层面，简单实用且具有普遍性
  • 一些实验客观性不够，只展示一部分有效的结果
  • 有的评价指标没有定义清楚
  • 一些很重要的参数，如采样率等没有给出相关实验，说明它对聚类的影响
Graph Convolutional Neural Networks for Web-Scale Recommender Systems（用于Web级推荐系统的图形卷积神经网络）
weixin_41697507的博客
07-07 4373
Graph Convolutional Neural Networks for Web-Scale Recommender Systems 用于Web级推荐系统的图形卷积神经网络 ABSTRACT Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art pe...
常用31个Java机器学习、深度学习、自然语言处理学习库&工具
liinux-Talk is cheap,show me the code.
01-20 2414
常用的Java机器学习库 在MLOSS.org网站上，列出了 70 多个基于 Java 的开源机器学习项目，可能还有更多未列出的项目，存于大学里的服务器、GitHub 或 Bitbucket 中。我们将在本文中回顾 Java 中的主流机器学习库和平台，它们能够解决的问题类型，支持的算法以及可以使用的数据类型。 本文节选自 Machine learning in Java，由 Bostj...
论文解读pre:Clustering Very Large Multi-dimensional Datasets with MapReduce
06-22
用latex beamer生成的pdf版本的ppt，关于论文Clustering Very Large Multi-dimensional Datasets with MapReduce。是我的pre
CCF A类会议或期刊----近两年聚类相关论文
Thincor的博客
03-21 6673
会议/期刊 论文 sigmod2021 Fast Density-Peaks Clustering: Multicore-based Parallelization Approach. sigmod2021 SharPer: Sharding Permissioned Blockchains Over Network Clusters. sigmod2021 Dynamic Structural Clustering on Graphs. sigmod2021 On Saving....
Mapreduce bibliography
xingzhixi的专栏
11-16 1057
[1] Jeffrey Dean and Sanjay Ghemawat. Mapreduce: Simplified data processing on large clusters. In OSDI 2004, pages 137-150, 2004. [ bib | .html ] [2] Jeffrey Dean and Sanjay Ghemawat. Mapreduce
MapReduce的核心资料索引 [转]
weixin_30764883的博客
07-16 1909
转自http://prinx.blog.163.com/blog/static/190115275201211128513868/和http://www.cnblogs.com/jie465831735/archive/2013/03/06.html 按如下顺序看效果最佳: 1. MapReduce Simplied Data Processing on Large Cluste...
MapReduce的核心资料索引
热门推荐
hero_hegang的专栏
07-17 1万+
MapReduce的核心资料索引 转自http://prinx.blog.163.com/blog/static/190115275201211128513868/和http://www.cnblogs.com/jie465831735/archive/2013/03/06.html 按如下顺序看效果最佳:  1.       MapReduce Simplied Data Proces
核心论文2
bluetears19881的专栏
11-06 882
[1] Zhou AY. Data intensive computing-challenges of data management techniques. Communications of CCF, 2009,5(7):50.53 (in Chinese with English abstract). [2] Cohen J, Dolan B, Dunlap M, Hellerstein
研究云计算与大数据分析处理领域建议看的学术论文列表
RunAtWorld：常常想想自己能解决什么问题
10-07 1105
[1] Zhou AY. Data intensive computing-challenges of data management techniques. Communications of CCF, 2009,5(7):50.53 (in Chinese with English abstract). [2] Cohen J, Dolan B, Dunlap M, Hellerstein
[转] 研究云计算与海量数据处理方向建议看的论文列表
weixin_30274627的博客
03-14 103
本问转自：http://cloud.dlmu.edu.cn/cloudsite/index.php?action-viewnews-itemid-123-php-1 [1] Zhou AY. Data intensive computing-challenges of data management techniques. Communications of CCF, 2009,5(7):...
深度学习（deep learning）--资料大全
BigBzheng的博客
01-15 2229
最近在学深度学习相关的东西，在网上搜集到了一些不错的资料，现在汇总一下： Free Online Books Deep Learning66 by Yoshua Bengio, Ian Goodfellow and Aaron CourvilleNeural Networks and Deep Learning42 by Michael NielsenDeep Learning27 b
MapReduce处理大规模多维数据的瓶颈优化与BoW方法
"这篇论文《Clustering Very Large Multi-dimensional Datasets with MapReduce》发表于KDD2011年，由Robson Cordeiro和Julio López合作完成，主要针对大规模中高维数据（即具有moderate-to-high dimensionality ...
PyFlink Table API 用纯 Python 写一个 WordCount（读 CSV + 聚合 + 写出）
hello.reader
01-06 1153
本文介绍了如何使用Flink Python Table API构建一个WordCount数据处理管道。主要内容包括：1)通过TableEnvironment创建流处理环境；2)使用TableDescriptor或DDL两种方式注册文件系统的CSV源表和JSON目标表；3)实现UDTF函数进行单词拆分；4)通过flat_map、group_by和count操作实现单词统计；5)执行execute_insert触发计算并输出结果。文章还提供了完整可运行代码示例，并分享了关于并行度设置、批流模式选择、文件格式选用
Odoo 19 模块结构概述
智能化技术分享
01-08 1075
Odoo 19模块开发指南摘要：本文介绍了Odoo 19模块的基本结构，重点解析了模块开发的两个核心配置文件（init.py和__manifest__.py）及其关键参数。详细说明了模块各组件功能，包括模型目录（业务逻辑）、视图目录（用户界面）、权限目录（访问控制）、数据目录（基础数据）、静态资源目录（前端资源）等。通过规范化的目录结构和配置参数，开发者可以创建可扩展、易维护的Odoo模块，满足企业各类业务需求。
Go语言高并发实战：集成天远手机号码归属地核验API打造高性能风控中台
2501_90292324的博客
01-06 616
本文介绍了如何利用天远手机号码归属地核验API构建高吞吐量的通信数据基础设施，重点展示了Golang对接实现方案。通过结构体映射和AES-128加密，实现类型安全的接口调用，支持海量数据的并发处理。该API提供"手机号-省份-城市-运营商"精准映射，可应用于短信路由、数据清洗和地域风控等场景。Go语言的并发特性可充分发挥API价值，实现毫秒级数据核验和高吞吐业务处理。
4、Kafka原理-Consumer
最新发布
IT大白的博客
01-08 605
正常情况下，我们希望消费没有被消费过的数据，而且是从最先发送（序号小的） 的开始消费（这样才是有序和公平的）。为了保证系统最大的利用率，Kafka的分配策略一定会遵循一个最基本的原则——平均分配，简单理解，不会有任意两个消费者消费的分区数差大于1。注意：这不是表示一个消费者和一个Topic的关系，而是一个consumer group和topic中的一个partition的关系（offset在partition中连续编号而不是全局连续编号）。所以当消费者数量大于分区数量时，多余的消费者是无法消费消息的。
RocketMQ消息队列
天道酬勤的博客
01-05 679
消息队列是分布式系统中实现解耦、异步处理、削峰填谷的核心组件。RocketMQ作为主流消息中间件，具有金融级可靠性、全链路顺序保障和超强扩展性，但存在多语言支持不足和缺乏标准协议等缺点。消息队列主要分为队列模型（点对点，确保任务被单个消费者处理）和发布/订阅模型（广播，消息被多个消费者接收）。技术选型需根据业务需求：队列模型适用于订单处理等需唯一消费场景，发布/订阅模型适用于事件通知等需多系统并行处理场景。
Kafka单节点可承载的数据量-负载均衡能否根据IP路由消费
程序员哆啦A梦，蓝胖子
01-07 231
机械硬盘（HDD）：适合大容量冷数据存储，单盘容量可达 10TB+，但随机读写性能弱<br>- 固态硬盘（SSD）：适合高吞吐热数据，单盘容量 1TB - 8TB，IOPS 是 HDD 的 10 倍以上。HDD 单节点：顺序写吞吐量约 100MB/s - 300MB/s，顺序读约 50MB/s - 200MB/s（适合批量消费、日志采集等场景）。SSD 单节点：顺序写吞吐量约 500MB/s - 1.5GB/s，顺序读约 300MB/s - 1GB/s（适合高吞吐实时计算场景）。
详细介绍下Elasticsearch 布尔查询
青鱼入云的博客
01-06 852
布尔查询是 ES 复杂查询的基础，核心是must（AND/算分）、should（OR/算分）、must_not（NOT/无算分）、filter（AND/无算分/缓存）；性能优化核心：过滤条件放filter、控制should数量、must_not后置；影响评分，不影响；复杂逻辑通过嵌套布尔查询实现，层级控制在3层内；should的配置、类型匹配、空布尔查询。掌握布尔查询的逻辑、算分和性能规则，能覆盖 90% 以上的业务查询场景，是 ES 进阶使用的核心基础。
探索K-Multiple-Means算法：KDD2019论文实现
8. 标签含义：标签clustering指的是聚类，kmeans即K-means聚类方法，kdd代表数据挖掘与知识发现领域的顶级会议，large-scale-clustering指大规模数据集上的聚类问题，multi-prototypes-clustering指多原型聚类，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值