
spark
zhaojike
这个作者很懒,什么都没留下…
展开
-
Spark知识体系完整解读
Spark知识体系完整解读 Spark简介 Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map 函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度转载 2016-07-18 10:29:53 · 965 阅读 · 0 评论 -
spark 安装实战
1. wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0 vi /etc/profile export SPARK_HOME=/u...原创 2019-05-19 19:19:12 · 284 阅读 · 0 评论