
mapreduce
文章平均质量分 87
幸运小侯子
一天学一点啊.............
展开
-
mapreduce之组件,join,排序原理
第一部分:重要的组件Combiner•什么是Combiner•combine函数把一个map函数产生的对(多个key, value)合并成一个新的. 将新的作为输入到reduce函数中,其格式与reduce函数相同。•这样可以有效的较少中间结果,减少网络传输负荷。 •什么情况下可以使用Combiner•可以对记录进行汇总统计的场景转载 2013-09-29 18:30:56 · 1378 阅读 · 0 评论 -
MapReduce与MySQL交互
MapReduce与MySQL交互 MapReduce技术推出后,曾遭到关系数据库研究者的挑剔和批评,认为MapReduce不具备有类似于关系数据库中的结构化数据存储和处理能力。为此,Google和MapReduce社区进行了很多努力。一方面,他们设计了类似于关系数据中结构化数据表的技术(Google的BigTable,Hadoop的HBase)提供一些粗粒度的结构化数据存储和处理能力;转载 2013-10-10 12:01:11 · 8482 阅读 · 1 评论 -
hbase 分享笔记
hbasehbase 是什么官方说明:Use Apache HBase™ when youneed random, realtime read/write access to your Big Data. This project's goalis the hosting of very large tables -- billions of rows X millions of colu原创 2016-06-16 21:40:45 · 10434 阅读 · 0 评论