风叶

1、Zookeeper overview Zookeeper给其client呈现的是按层次组织的节点（znode），组织方式与文件系统类型，如下图，每个znode中可以包含一些数据。Zookeeper中有两种类型的znode，Regular和Ephemeral。对于Regular znode，其由client显式的创建和删除；对于Ephemeral znode，其由client创建，可由cl

Hadoop.MapReduce作业任务 当我们只用几行代码就可以运行一个MapReduce作业时,我们是否知道其实里面隐藏着大量的执行细节.本文就是来揭示一个Hadoop运行作业的执行细节. 运行MapReduce作业的过程将包含以下四个实体 1. 客户端.提交hadoop作业 2. 分布式文件系统(一般为HDFS), 3. JobTracker.协调作业的运行 4. T

ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos算法的实现，使该框架保证了分布式环境中数据的强一致性，也正是基于这样的特性，使得zookeeper能够应用于很多场景。网上对zk的使用场景也有不少介绍，本文将结合作者身边的项目例子，系统的对zk的使用场景进行归类介绍。 值得注意的是，zk并不是生来就为这些场景设计，都是后来众多开发者根据框架的特性，摸索出来的典型使用方法

出处：MapReduce/GFS/BigTable三大技术资料 首先是在孟岩博客中发现以下内容： Google的三大核心技术MapReduce、GFS和BigTable的论文都已经被翻译成高质量的中文；三篇论文的链接地址如下： MapReduce： http://blog.youkuaiyun.com/active1001/archive/2007/07/02/1675920.aspx