
java高级-大数据知识
文章平均质量分 78
Mrzhoug
这个作者很懒,什么都没留下…
展开
-
大数据知识(1)--zookeeper原理
本文转载自:http://cailin.iteye.com/blog/2014486ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。Zookeeper是hadoop的一个子项目,其发展历程无需赘述。在分布式应用中,由于工程师不能很好地使用锁机制,以及基于消息的协调机制不适合在某些应用中使用,因此需转载 2016-06-10 19:09:01 · 1156 阅读 · 0 评论 -
Hadoop--map-reduce原理
MapReduce的作业(job)是由客户端提交给Hadoop集群的。一个job包括了输入数据,MapReduce程序和配置信息。Hadoop将作业非为若干个任务(task)来执行,其中包括map任务和reduce任务。有两类节点和task的执行相关,一类是jobtracker,另外一类是tasktracker。jobtracker通过调度tasktracker上运行的任务来协调所有运行在系统上的作转载 2016-09-28 09:11:57 · 1092 阅读 · 0 评论