spark
关注
分享
扫一扫
Jameslvt
这个世界非常多样，自我实现的方式也绝不止哪一种。我们每个人都不一样，永远不要试图成为他人，那是妄念。我们唯一能做的，就是看清自己并努力成为更好的自己，这条路永远都不会错。
展开
-
spark集群模式调试以及远程配置
最近学习spark，在本地模式跑完程序，想再去集群上面测试，但是发现一直报下面错误：java.lang.NoSuchMethodError: scala.runtime.ObjectRef.create(Ljava/lang/Object;)Lscala/runtime/ObjectRef; at CF$$anonfun$3.apply(CF.scala:33) ...原创 2018-08-29 11:49:59 · 3190 阅读 · 2 评论 -
pySaprk，pycharm编写spark的python脚本，远程上传执行和本地模式执行
上次，我们用scala来编写来spark，这次我们用python来写spark脚本，我们在上篇博客中说过，spark的版本是2.2.0，scala的版本是2.1.x，这样我们在集群中，由于spark的版本，没有办法使用pySpark wordcount.py 来执行脚本，只能使用spark submit wordcount.py来执行脚本，在Linux环境是这样执行的，但是我们写脚本，可以直接在L...原创 2018-08-30 10:43:08 · 5342 阅读 · 3 评论