本博客演示了如何在Spark环境中使用SparkAPI运行WordCount示例，包括使用ScalaShell进行基本的数据处理操作，如加载文件、计算行数、进行字数统计，并通过缓存功能提高效率。
启动spark-shell后 完成的第一示例：
完成Spark安装并启动后，就可以用Spark API执行数据分析查询了。
首先让我们用Spark API运行流行的Word Count示例。如果还没有运行Spark Scala Shell，首先打开一个Scala Shell窗口。这个示例的相关命令如下所示：
val txtFile = "README.md"
val txtData = sc.textFile(txtFile)
txtData.cache()
我们可以调用cache函数将上一步生成的RDD对象保存到缓存中，在此之后Spark就不需要在每次数据查询时都重新计算。需要注意的是，cache()是一个延迟操作。在我们调用cache时，Spark并不会马上将数据存储到内存中。只有当在某个RDD上调用一个行动时，才会真正执行这个操作。
现在，我们可以调用count函数，看一下在文本文件中有多少行数据。
txtData.count()
然后，我们可以执行如下命令进行字数统计。在文本文件中统计数据会显示在每个单词的后面。
val wcData = txtData.flatMap(l => l.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
wcData.collect().foreach(println)
参考链接地址：
http://www.infoq.com/cn/articles/apache-spark-introduction
完成Spark安装并启动后，就可以用Spark API执行数据分析查询了。
首先让我们用Spark API运行流行的Word Count示例。如果还没有运行Spark Scala Shell，首先打开一个Scala Shell窗口。这个示例的相关命令如下所示：
val txtFile = "README.md"
val txtData = sc.textFile(txtFile)
txtData.cache()
我们可以调用cache函数将上一步生成的RDD对象保存到缓存中，在此之后Spark就不需要在每次数据查询时都重新计算。需要注意的是，cache()是一个延迟操作。在我们调用cache时，Spark并不会马上将数据存储到内存中。只有当在某个RDD上调用一个行动时，才会真正执行这个操作。
现在，我们可以调用count函数，看一下在文本文件中有多少行数据。
txtData.count()
然后，我们可以执行如下命令进行字数统计。在文本文件中统计数据会显示在每个单词的后面。
val wcData = txtData.flatMap(l => l.split(" ")).map(word => (word, 1)).reduceByKey(_ + _)
wcData.collect().foreach(println)
参考链接地址：
http://www.infoq.com/cn/articles/apache-spark-introduction
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
