pycharm-pyspark 环境安装

1、环境准备:java、scala、pyspark、python-anaconda、pycharm
vi ~/.bash_profile

export SCALA_HOME=/Users/xunyongsun/Documents/scala-2.13.0
export PATH= P A T H : PATH: PATH:SCALA_HOME/bin
export SPARK_HOME=/Users/xunyongsun/Documents/spark-3.5.4-bin-hadoop3
export PATH= P A T H : PATH: PATH:SPARK_HOME/bin
export PYTHONPATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:SPARK_HOME/python/lib/py4j-0.10.9.7-src.zip
export PATH= S P A R K H O M E / p y t h o n : SPARK_HOME/python: SPARKHOME/python:PATH

source ~/.bash_profile

scala -version
java -version
pyspark

pip -V
python -V

2、创建project
在这里插入图片描述3、选中项目,点击Pycharm->Settings…->点击 Project:xxx:->Project Structure
在这里插入图片描述
4、配置SPARK_HOME
写好pyspark脚本后,在运行python脚本之前,要配置下SPARK_HOME
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
5、conda 的env环境增加pyspark引用

6、运行脚本

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值