转-WordCount

最新推荐文章于 2025-07-30 11:34:50 发布

转载最新推荐文章于 2025-07-30 11:34:50 发布 · 192 阅读

文章标签：

#spark

本文详细介绍了如何使用Apache Spark实现WordCount程序，包括创建SparkConf和SparkContext，读取文本文件，进行单词切割，计数及排序，并最终保存结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.{SparkConf, SparkContext}//引入包中的几个成员，可以使用selector（选取器）
object WordCount {
  def main(args: Array[String]): Unit = {
    /**
      * 创建SparkConf（）并设置App名称
      * local指本地
      * 2代表在本地起两个线程
      */
    val conf = new SparkConf().setAppName("WC").setMaster("local[2]")
    /**
      * 创建SparkContext,该对象是提交的Spark App的入口
      */
    val sc = new SparkContext(conf)
    
    sc.textFile("E:\\words.txt").		//* 1:使用sc创建RDD并执行相应的transformation和action
      flatMap(_.split(" ")).			//* 2:按照空格进行切分
      map((_,1)).						//* 3：将得到的数组中的元素组合成（单词，1）的形式
      reduceByKey(_+_,1).				//* 4：统计相同的key出现多少次
      sortBy(_._2,false).				//* 5：根据出现的次数将元组进行排序，默认是升序，false代表降序
      saveAsTextFile("E:\\outputFile")	//* 6：保存到相应的本地目录下
    sc.stop()							//关闭资源
 
  }
}

import org.apache.spark.{SparkContext,SparkConf}
object WordCount{
  			def main(args: Array[String]): Unit = {
   			 // 创建配置对象
/al conf = new SparkConf().setAppName("WordCount").setMaster("local")
  		 	 // 可以通过命令行 指定
   			 val conf = new SparkConf().setAppName("WordCount")
    		 // 创建Spark操作对象
     		 val sc = new SparkContext(conf)
    		 // 创建 RDD 输入数据集
    		 val input = sc.textFile("/rootpark.txt")
   		 	 // 按行进行 分割
    		 val lines = input.flatMap(line=>line.split(" "))
    		 // 单词统计
    	val count = lines.map(word=>(word,1)).reduceByKey{case(x,y)=>x+y}
    		// 输出 保存为文件
    		// val output = count.saveAsTextFile("/root/sout")
    		// 屏幕直接打印 这样防止文件多次运行错误
    		val r = count.collect()
    		r.foreach(println)
  				}
}