Linux操作系统下搭建Hadoop、Zookeeper、Hbase、Hive集群（1）----Hadoop及Hadoop集群搭建

Linux操作系统下安装Hadoop以及集群搭建

准备工作：

• VMware新建虚拟机（虚拟机时间需要与主机同步）
• 在根目录下新建software目录，把jdk、hadoop、hadoop-native、hive、hbase、zookeeper、mysql和java连接数据库jar包导入software目录下
  
  
• 将jdk、hadoop、hive、hbase、zookeeper解压到opt目录下
• hadoop-native解压到hadoop/etc/bin和hadoop/etc/bin/native目录下

配置环境变量（集群环境变量一次配置完成）：

• vi /etc/profile 按shift+g、o 插入以下代码：

export JAVA_HOME=/opt/jdk8
export JRE_HOME=/opt/jdk8/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin
export HADOOP_HOME=/opt/hadoop
export HBASE_HOME=/opt/hbase
export HIVE_HOME=/opt/hive
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin

• source /etc/profile 刷新并执行环境变量
• 测试环境变量是否配置成功 java -version、hadoop version、hive version、hbase version
  
• 修改主机名
  vi /etc/hostname

#主机名
hadoop101

• 修改主机列表
  vi /etc/hosts
  集群内的虚拟机都加入主机列表
  
• 虚拟机设置免密登录
  • 生成免密密钥:ssh-keygen -t rsa -P ""
  • 将生成的免密私钥复制到公钥：
    cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys (>>为追加，>为替换)
  • 为集群虚拟机添加互信：
    ssh-copy-id -i .ssh/id_rsa.pub -p22 root@192.168.128.101（或主机名）
  • 免密登录验证:
    ssh -p 22 root@192.168.128.101（或主机名）

配置Hadoop

• 进入hadoop/etc/hadoop目录下
• 配置hadoop-env.sh
  vi hadoop-env.sh
  JAVA_HOME后的路径修改为虚拟机的java路径
  
• 配置core-site.xml
  vi core-site.xml