pyspark 报错

安装:pip install pyspark

Windows下使用pycharm的spark库,直接在工具库下载即可,但发现运行报错:

解决方案:

导入os模块,然后代码中添加,=号后面的地址主要看你JDK的地址,按个人地址为主,我的地址只做参考:

import os
os.environ['JAVA_HOME']='D:\jdk'

import pyspark
from pyspark import SparkContext
import os
os.environ['JAVA_HOME']='D:\jdk'
sc=SparkContext('local')
old=sc.parallelize([1,2,3,4,5],2)
newMap=old.map(lambda x:(x,x**2))
newReduce=old.reduce(lambda a,b:a+b)
print(newMap.glom().collect())
print(newReduce)

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值