Spark之PySpark使用

Spark之PySpark使用

1. 背景

1. Spark支持对多种编程语言的api，包括java、scala、python
2. 根据官方文档介绍，python其实是使用Spark框架最多的语言
3. Spark支持对python的shell，api

2. 环境配置

1. 在spark集群上安装python3， 版本必须是3.6以上

yum install -y python3

注意，安装好之后，使用python3 -V即可查看版本，python指令是指代python2版本的

2. 修改所有spark集群节点的环境变量

export JAVA_HOME=/usr/local/jdk1.8.0_251
export PYSPARK_PYTHON=python3
export HADOOP_HOME=/doit/hadoop-3.2.1
export HADOOP_CONF_DIR=/doit/hadoop-3.2.1/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3. 使用pyspark shell