Linux 安装 pySpark

 

1、安装Java和Scale。

1.1、Java 参考 Java 安装运行

1.2、Scale安装

1）下载并解压

1. 官网地址：https://www.scala-lang.org/download/

2.  

3. wget https://downloads.lightbend.com/scala/2.13.1/scala-2.13.1.tgz

4. tar -zxvf scala-2.13.1.tgz

5. mv scala-2.13.1 scala

 

2）配置

1. vim /etc/profile

2.  

3. SCALA_HOME=/usr/local/scala

4. PATH=$SCALA_HOME/bin:$PATH

5.  

6. source /etc/profile

3）启动

scala

2、安装Apache Spark

1）下载并解压

1. wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7.tgz

2. tar -zxvf spark-2.4.4-bin-hadoop2.7.tgz

3. mv spark-2.4.4-bin-hadoop2.7.tgz spark

官网：https://spark.apache.org/downloads.html 第二张图才是真正的下载地址

 

2）配置

1. vim /etc/profile

2.  

3. SPARK_HOME=/usr/local/spark

4. PATH=$SPARK_HOME/bin:$PATH

5.  

6. source /etc/profile

3）运行

未配置运行 ./bin/pyspark   配置运行 pyspark