Spark总结1

Spark总结1

安装jdk

下载spark安装包

解压

 

重点来了：

 配置 spark：

   进入 conf   ----》  

spark-env.sh.template文件

cd conf/

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

 

     添加： 

  

在该配置文件中添加如下配置

export JAVA_HOME=/usr/java/jdk1.7.0_45

export SPARK_MASTER_IP=acm01       //Master 的地址

export SPARK_MASTER_PORT=7077

 

     修改slaves

   acm02

   acm03

     scp -r  spark /    acm:/      拷贝到其他主机上

 

然后启动集群：

      /usr/local/spark-1.5.2-bin-hadoop2.6/sbin/start-all.sh

 

  查看jps，  主节点 Master进程   worker进程

 spark管理界面：

   http://acm01:8080/

posted @ 2017-09-15 20:46 toov5 阅读( ...) 评论( ...) 编辑 收藏