u012749168的博客

首先我们需要明确一个重要的概念，mapreduce任务往往至少要几秒的时间，而对于小规模的查询，mysql瞬间就可以完成查询操作，对于大规模的查询，使用像hbase这样的数据库才能体现出价值。hbase的数据存储在hdfs之上，因此我们在使用hbase的时候，首先就是要启动hadoop，另外，hbase的协调管理是通过zookeeper来完成，因此，hbase的启动离不开zookeeper，z

1.      启动zookeeper集群，参考地址：http://blog.youkuaiyun.com/u012749168/article/details/527051642.      解压包storm，配置conf目录下的storm.yaml文件a)        这里配置zookeeper节点，可以用ip或者域名storm.zookeeper.servers:     -"slav

1、安装jdk和hadoop在slave-01上安装并配置，这个就不说了，比较简单，下载jdk，hadoop，解压tar -zxf filename，修改/etc/profile文件，添加export JAVA_HOME=filepathexport HADOOP_HOME=filepathexport PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PAT

参考;hadoop实战hadoop程序都是java写的，不过hadoop也支持用其他语言来编程，需要用到Streaming的通用API。主要用于编写简单、短小得到mapreduce程序，他可以通过脚本语言，开发更加便捷，并能够充分利用非java库。streaming使用unix中的流与程序进行交互，从stdin输入数据，输出到stdout。数据必须为文本且每行被视为一个记录。streaming

在eclipse上编写程序，运行在hadoop上。网上很多的例子都是1.x的mr代码，而1.x的代码和2.x的代码是有些区别的。在hadoop官网上可以下载到hadoop的源码包，源码包里面有很多的源代码，hadoop安装包里面的都是些jar文件，jar可以执行，但是无法看里面的源码。接下来详细分析两个案例的代码，并附带个人的hadoop学习总结与大家分享，希望大家给点意见。一个是hadoop源码

zookeeper简单介绍C一致性A可用性P分区容忍性|三者不可兼得1保证最终一致性，区别实时一致性2 可靠性，一台接收，所有接收3 原子性， 没有中间状态，只能成功或者失败4 顺序性， 所有server同一消息发布顺序一致工作原理1.server在内存中存储了一份数据2.启动时，自己选举出一个leader（Paxos算法）3.leader负责处

伪分布模式搭建hadoop，作为练习使用即可1 免密码ssh登陆         ssh-keygen-t rsa，默认在家目录下的.ssh文件夹下面生成一个id_rsa.pub         cat  ~/id_rsa.pub >>  ~/.ssh/authorized_keys 注意必须都放到.ssh文件夹下面2  四个配置文件修改core-site.xml

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等角色领导者leader负责进行投票的发起和决议，更新系统状态跟随者follower用于接收客请求并向客户端返回结果，参与选举投票观察者observer不参与投票过程，只同步leader状态。为了扩展系统，提高读取速度。客户端cli

转载地址：http://wenku.baidu.com/link?url=x9xRWvuZuUMFKgN9McNY4DSAGXCi3dlUFMtnDE-Lg39_VeOUgUkm9L_1M4g1JID6vtVxO8jfvizkmZADdlpuEOo5ICEF_M92Eo9uB2fhmE_http://business.sohu.com/20160919/n468669356.shtml

参考资料：http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/    《hadoop技术内幕：深入解析yarn架构设计与实现原理》首先需要明确的是，hadoop1.x上有五个进程，NameNode，SeconaryNameNode，TaskTracker,DataNode,JobTracker五个进程。ha

第一步：安装hadoop和zookeeper，参照前面写的关于hadoop和zookeeper的安装并启动。第二步：解压hbase-1.1.3，并配置相关的文件hbase-env.sh         export JAVA_HOME=/root/jdk1.8.0_91 #hbase是自带zookeeper的，如果是true则用hbase自身的zookeeper，