本文介绍了如何在本地环境中搭建Spark集群，并通过一个简单的代码示例演示了如何使用Spark进行文本文件的数据处理，包括读取文件、单词计数等基本操作。
搭建好Spark环境之后，简单实用一下：
代码：
val file = sc.textFile("file:///home/iie4bu/data/hello.txt")
val wordCounts = file.flatMap(line => line.split(",")).map((word => (word,1))).reduceByKey(_ + _)
wordCounts.collect
hello.txt文件内容如下：
hello world welcome
hello welcome
运行shell：
./spark-shell --master spark://manager:7077
扫一扫
986
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
