Hadoop+Hbase+Spark集群配置-Spark HA安装

关注

原创最新推荐文章于 2026-07-04 13:29:35 发布 624 阅读 AI 写同款· GEO 优化 ›

大数据系统搭建Hadoop+HBase+Spark 1.1 框架介绍 Hadoop是一个开源的框架，可编写和运行分不是应用处理大规模数据，是专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。 HBase 不同于一... 阅读详情

解压部署
cp /usr/hadoop/spark/conf/spark-env.sh.template /usr/hadoop/spark/conf/spark-env.sh
vi /usr/hadoop/spark/conf/spark-env.sh
#####################################################
export JAVA_HOME=/usr/hadoop/jdk
#指定每个Worker需要的内存大小（全局）
export SPARK_WORKER_MEMORY=1g
#指定Spark恢复模式，这里采用Zookeeper模式，默认为NONE
export -Dspark.deploy.recoveryMode=ZOOKEEPER
export -Dspark.deploy.zookeeper.url=zookeeper1:2181,zookeeper2:2181,zookeeper3:2181
export -Dspark.deploy.zookeeper.dir=/spark
#下面是结合Spark On Yarn方式的集群模式需要配置的，独立集群模式不需要配置
export HADOOP_HOME=/usr/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#####################################################

cp /usr/hadoop/spark/conf/slaves.template /usr/hadoop/spark/conf/slaves
vi /usr/hadoop/spark/conf/slaves
#####################################################
slave147
slave149

拷贝
for ip in `seq 147 149`;do scp -r /usr/hadoop/spark slave$ip:/usr/hadoop/;done

收录于