spark总概括

最新推荐文章于 2025-06-08 17:15:53 发布

Casablanca_jhBi

最新推荐文章于 2025-06-08 17:15:53 发布

阅读量177

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.youkuaiyun.com/weixin_37243717/article/details/79510343

大数据专栏收录该内容

39 篇文章

订阅专栏

Spark 2.x 管理与开发

Demo: 在Spark中，执行WordCount程序
sc.textFile("hdfs://bigdata11:9000/input/data.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_ + _).collect


四部分:
第一部分：Scala编程语言（看成：Java的升级版）  API:http://www.scala-lang.org/files/archive/api/2.11.8/#package

第二部分：Spark Core（内核，相当于MapReduce）
第三部分：Spark SQL（相当于：Hive）：底层依赖：Spark Core（RDD）
第四部分：Spark Streaming（相当于：Storm）：底层依赖：Spark Core（RDD）