Spark的低成本安装（win） and 三节点集群安装（linux）

最新推荐文章于 2024-10-31 21:14:37 发布

忘川风华录

最新推荐文章于 2024-10-31 21:14:37 发布

阅读量2.3k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/qq_36968512/article/details/80660184

我这里给出两种安装spark的方式，一种是在win上安装另一种就是在linux集群上安装，前一种安装方式是一种低成本的安装没有shell界面，非常适合入过门的小白练习自己对spark的业务处理能力，而且这种安装方式能对电脑省去一大笔的cpu所以个人比较喜欢，第二种安装方式就是和之前安装hadoop的方式基本一样，比于第一种安装方式多了shell界面，所以就不过多介绍

方式一,

首先去官网下载安装包类似于下面：

（友情链接：点击打开链接这个链接里面都是阿帕奇的一些顶级项目的稳定版，点击就能下载，建议保存！！）

然后你还需要hadoop的安装包和linux的一样就好了解压缩，都完成之后你需要在win的环境变量里面添加

%HADOOP_HOME%\sbin

hadoop\share\hadoop\common

spark-2.2.1-bin-hadoop2.7\bin

spark-2.2.1-bin-hadoop2.7\sbin

然后你就可以在编码机器上进行代码编写了（直接复制能运行说明安装好了）：

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkCon