spark-2.2.2-bin-hadoop2.7 安装

本文详细介绍了如何安装Spark 2.2.2版本,包括上传安装包、解压、配置环境变量、修改配置文件如spark-env.sh和slaves,以及最后的分发和确认步骤。

 1.上传spark-2.2.2-bin-hadoop2.7.tgz

2.解压文件

tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /usr/local/

3.进入conf/下把spark-env.sh.template改为spark-env.sh

cd /usr/local/spark-2.2.2-bin-hadoop2.7/conf/
mv spark-env.sh.template spark-env.sh

4.修改配置文件 spark-env.sh

   1.编辑 spark-env.sh

vi spark-env.sh

  2.修改内容如下 

export JAVA_HOME=/usr/local/jdk1.8.0_211
export SPARK_MASTER_HOST=hadoop01
export SPARK_MASTER_PORT=7077

5.把slaves.template改为slaves

mv slaves.template slaves

6.修改配置文件slaves

     1.编辑 slaves

vim slaves

    2.修改内容如下

hadoop02
hadoop03

7.配置环境变量

  1.编辑

vim /etc/profile

   2.内容如下

export  SPARK_HOME=/usr/local/spark-2.2.2-bin-hadoop2.7
export  PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

   3.重置环境变量

source /etc/profile

8.分发到其他节点

scp -r /usr/local/spark-2.2.2-bin-hadoop2.7 hadoop02:/usr/local/
scp -r /usr/local/spark-2.2.2-bin-hadoop2.7 hadoop03:/usr/local/

9.OK

 

任务描述 本关任务:安装与配置Spark开发环境。 相关知识 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab(加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 本关我们来配置一个伪分布式的Spark开发环境,与配置Hadoop类似分为三个步骤: 下载解压安装包; 配置环境变量; 配置Spark环境; 校验。 下载解压安装包 我们从官网下载好安装包, 接下来解压,在平台已经将spark安装包下载到/opt目录下了,所以不需要再下载了。 tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz -C /app 将压缩包解压到/app目录下。 配置环境变量 我们将spark的根目录配置到/etc/profile中(在文件末尾添加)。 vim /etc/profile 不要忘了source /etc/profile 修改Spark配置文件 切换到conf目录下: cd /app/spark-2.2.2-bin-hadoop2.7/conf 在这里我们需要配置的是spark-env.sh文件,但是查看目录下文件只发现一个spark-env.sh.template文件,我们使用命令复制该文件并重命名为spark-env.sh即可; 接下来编辑spark-env.sh,在文件末尾添加如下配置: export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111 export SCALA_HOME=/app/scala-2.12.7 export HADOOP_HOME=/usr/local/hadoop/ export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop export SPARK_MASTER_IP=machine_name # machine_name 根据自己的主机确定 export SPARK_LOCAL_IP=machine_name # machine_name 根据自己的主机确定 参数解释: 参数 解释 JAVA_HOME Java的安装路径 SCALA_HOME Scala的安装路径 HADOOP_HOME Hadoop安装路径 HADOOP_CONF_DIR Hadoop配置文件的路径 SPARK_MASTER_IP Spark主节点的IP或机器名 SPARK_LOCAL_IP Spark本地的IP或主机名 如何查看机器名/主机名呢? 很简单,在命令行输入:hostname即可。 校验 最后我们需要校验是否安装配置成功了; 现在我们启动spark并且运行spark自带的demo: 首先我们在spark根目录下启动spark: 在spark的根目录下输入命令./sbin/start-all.sh即可启动,使用jps命令查看是否启动成功,有woker和master节点代表启动成功。 接下来运行demo: 在Spark根目录使用命令./bin/run-example SparkPi > SparkOutput.txt运行示例程序 在运行的时候我们可以发现打印了很多日志,最后我们使用cat SparkOutput.txt可以查看计算结果(计算是有误差的所以每次结果会不一样): 好了,如果你能到这一步就已经完成了伪分布式Spark安装啦。 编程要求 按照要求配置好Spark的开发环境,点击评测即可。
最新发布
10-22
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值