
大数据
君羊416
这个作者很懒,什么都没留下…
展开
-
pyspark 下载配置以及简单的使用
写在前面在用Windows学习spark时候,希望利用pyspark的api进行编程,记录一下安装以及踩坑的地方步骤1. 安装jdk82. 配置jdk8的环境变量3. 安装anaconda4. 用conda install -c conda-forge pyspark 这句话安装第4步有个坑,用conda install pyspark安装以后,spark总是起不来...原创 2019-07-04 16:02:38 · 2695 阅读 · 0 评论 -
pyspark中RDD基本操作
写在前面系统为ubuntu, spark为pyspark一. 简单配置和读取txt,并打印这里我们定义一个任务:从txt中读取文件,并打印文件的每一行from pyspark import SparkConf, SparkContextimport os# 这里配置spark对用的python版本,如果版本不一致就会报错os.environ["PYSPARK_PYTHO...原创 2019-08-14 17:51:58 · 1473 阅读 · 0 评论