大数据
关注
分享
扫一扫
文章平均质量分 75
淇怪君
love life and technology
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
PySpark ——Python API for Spark 小结
union 取并集 1 2 3 rdd = sc.parallelize([1, 1, 2, 3]) rdd.union(rdd).collect() [1, 1, 2, 3, 1, 1, 2, 3] jo原创 2017-02-01 19:31:53 · 1289 阅读 · 0 评论 -
pyspark 经常遇到的问题
problem One py4j.java_gateway: ERROR Error while sending or receiving. 12345678910111213141516171819202122232425262728293031323334353637383940414243原创 2017-02-01 19:30:32 · 6510 阅读 · 2 评论 -
PyCharm 使用 Spark
Step 1 搭建spark 环境，spark 环境搭建请参考在单机上安装Spark Step 2 进入spark安装目录：spark安装目录/python/lib 找到 py4j-0.8.2.1-src.zip 压缩包，如下图所示 解压缩 py4j-0.8.2.1-src.zip 压缩包 得到名为 py4j 的文件夹 复制 py4j 文件夹 到python目录下python的原创 2017-02-01 19:30:02 · 5028 阅读 · 0 评论