Scala练习--WoldCount词频统计

宁缺100

于 2019-04-25 07:53:40 发布

阅读量449

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： Scala 词频统计 Spark Hadoop

本文链接：https://blog.youkuaiyun.com/qq_24434491/article/details/89508048

本文通过Scala在Spark Shell中实现了一个WordCount的例子，涵盖了启动Hadoop HDFS，创建并操作数据文件，加载本地及HDFS中的文件，进行词频统计等步骤，详细阐述了整个流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启动Hadoop HDFS

hadoop@dhjvirtualmachine:/usr/local/hadoop/sbin$ ./start-dfs.sh

创建数据文件

hadoop@dhjvirtualmachine:/usr/local/spark/mycode$ mkdir wordcount
hadoop@dhjvirtualmachine:/usr/local/spark/mycode$ cd wordcount
hadoop@dhjvirtualmachine:/usr/local/spark/mycode$ vim word.txt

启动spark-shell 1.6.2

hadoop@dhjvirtualmachine:/usr/local/spark$ ./bin/spark-shell

加载本地文件

scala> val textFile = sc.textFile("file:///usr/local/spark/mycode/wordcount/word.txt")
打印
textFile: org.apache.spark.rdd.RDD[String] = file:///usr/local/spark/mycode/wordcount/word.txt MapPartitionsRDD[1] at textFile at <console>:27

打印第一行

textFile.first()
打印
res1: String = this is new fille

文件变量写回文件

scala> textFile.saveAsTextFile("file:///usr/lo

最低0.47元/天解锁文章

200万优质内容无限畅学