Hadoop/Hbase集群配置

 - Hadoop集群安装配置

1、修改主机、配置网络，关闭防火墙，免秘钥登录
2、修改hadoop-env.sh和yarn.env.sh设置jdk的安装路径
3、核心组件core-site.xml指定namenode地址(主机名：9000），hadoop临时文件存放路径/home/hadoop/hadoopdata，指定检查点备份日志的最长时间
4、hdfs-site.xml 指定hdfs文件块的副本数，一般为3
5、yarn-site是调度框架指定namenode的获取数据方式->shuffle
resourcemanager的地址对web、管理员、客户端、nodemanager等的暴露
6、mapreduce的配置    mapred-site.xml 指定MR（map/reduce）运行在YARN上，指定任务调度框架为yarn
7、master节点配置slaves文件，启动系统环境变量
8、创建数据目录

---

  - Hbase集群安装配置

1、修改环境变量hbase-env.sh    ->jdk环境
2、hbase-site.xml文件源是hbase-default.xml。在实际生产中应用与hbase-site.xml
false是单机模式，true是分布模式，region server的共享目录用来持久化Hbase，
Zookeper集群的地址列表，Hbase Master的web端口
3、使配置文件生效source ~/.bash_profile

Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，