Hadoop+Hbase+Spark集群配置—前期准备(免密和jdk配置)



移除已有jdk（最小化安装没有自带jdk，可略过此步骤）

关闭防火墙（不同版本方法不一样）

所有机器同步时间
 
配置主机名hostname和hosts
 
 
配置密钥验证免密码登录[全部免密]
ssh-keygen -t rsa
cp id_rsa.pub authorized_keys
chmod 700 ~/.ssh/
chmod 600 ~/.ssh/authorized_keys
 
创建并分发备用目录
mkdir -pv /usr/hadoop/storage/zookeeper/{data,logs}
for ip in `seq 140 145`;do scp -r /usr/hadoop/storage slave$ip:/usr/hadoop/;done

配置hadoop环境变量
vi  /etc/profile
export JAVA_HOME=/usr/hadoop/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar
export PATH=$PATH:$JAVA_HOME/bin
##############java############################
export HADOOP_HOME=/usr/hadoop/hadoop
export HBASE_HOME=/usr/hadoop/hbase
export SPARK_HOME=/usr/hadoop/spark
##############hadoop-hbase-hive###############
export HADOOP_MAPRED_HOME=${HADOOP_HOME}
export HADOOP_COMMON_HOME=${HADOOP_HOME}
export HADOOP_HDFS_HOME=${HADOOP_HOME}
export YARN_HOME=${HADOOP_HOME}
export HADOOP_YARN_HOME=${HADOOP_HOME}
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HDFS_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export YARN_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$SPARK_HOME/bin:$SPARK_HOME/sbin

分发配置文件
for ip in `seq 140 145`;do scp /etc/profile slave$ip:/etc/profile;done

启用配置文件
source  /etc/profile

安装并验证jdk