
spark
IT界的小小小学生
写文章的目标不仅是解决问题,更是帮助阅读的人或企业实现商业价值。秉持 “从解决问题出发、在实践中学习,最终创造价值”的信念,予人玫瑰手留余香!
展开
-
python 安装spark_Spark环境搭建 (Python)
安装lib材料:spark : http://spark.apache.org/downloads.htmlhadoop : http://hadoop.apache.org/releases.htmljdk: http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.htmlhadoop-commin : h原创 2017-10-30 11:35:02 · 6928 阅读 · 1 评论 -
python下的pyspark报错集锦
1.WARN Utils: Service ‘SparkUI’ could not bind on port 4040. Attempting port 4041.出现这种错误是是在spark启动从节点时出现的。 解决的方法是,在spark-env.sh中加入一条 SPARK_LOCAL_IP=127.0.0.1 然后就完美解决报错了! D:\spark\spark-2.2.0-bin...原创 2018-05-11 17:10:05 · 4541 阅读 · 0 评论 -
从零到一spark进阶之路(一)
从零到一spark进阶之路(一)1.RDDRDD是spark特有的数据模型,谈到RDD就会提到什么弹性分布式数据集,什么有向无环图,本文暂时不去展开这些高深概念。(0)随便找个点理解以下最重要的记住,RRD是不可变的,也就是说,已有的RDD不能被修改或者更新,但可以从已有的RDD转化成一个新的RDD.上面的特性解读: RDD可以cache到内存中,每次对RDD数据集的操作...原创 2018-05-11 17:54:11 · 1689 阅读 · 0 评论 -
从零到一spark进阶之路(二)
从零到一spark进阶之路(二) 关于从零到一spark进阶之路(一)请点击直通车原创 2018-05-11 17:55:36 · 1025 阅读 · 0 评论