spark-shell中的简单操作_spark-shell 样例-优快云博客

本文链接：https://blog.youkuaiyun.com/csdncjh/article/details/51865633

本文介绍使用Apache Spark进行wordCount任务的不同实现方法，并展示了如何操作sequenceFile文件，包括读取、转换及排序等高级用例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.wordCount的几种写法

一般函数式写法：

sc.textFile("/user/chenjinghui/words").flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey((a,b)=>(a+b)).collect

简洁写法：

sc.textFile("/user/chenjinghui/words").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

拓展：按照统计结果降序排序：

sc.textFile("/user/chenjinghui/words").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).collect

2.读取操作sequenceFile

sc.sequenceFile[org.apache.hadoop.io.LongWritable,org.apache.hadoop.io.Text]("path").map(x=>x._2.toString).saveAsTextFile("/user/chenjinghui")

将结果保存到hdfs:

sc.sequenceFile[org.apache.hadoop.io.LongWritable,org.apache.hadoop.io.Text]("path").map(x=>x._2.toString).saveAsTextFile("/user/chenjinghui")

实例：取电信前10的domain

sc.sequenceFile[org.apache.hadoop.io.LongWritable,org.apache.hadoop.io.Text]("/daas/bstl/dpiqixin/beijing/20160612/MBLDPI3G.2016061223_10.1465743600915.lzo_deflate").map(x=>x._2.toString).map(_.split("\\|")(27)).map((_,1)).reduceByKey(_+_).map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1)).take(10)

spark操作sequencefile

import org.apache.spark._
import org.apache.spark.SparkContext._

object SequenceFileTest {
  def main(args: Array[String]) {
    val conf = new SparkConf()
    conf.setAppName("SequenceFileTest")
    conf.setMaster("local[3]")
    val sc = new SparkContext(conf)
    val data = List(("ABC", 1), ("BCD", 2), ("CDE", 3), ("DEF", 4), ("FGH", 5))
    val rdd = sc.parallelize(data, 1)
    val dir = "/user/chenjinghui/text"
    rdd.saveAsSequenceFile(dir)
    val rdd2 = sc.sequenceFile[String, Int](dir + "/part-00000")
    println(rdd2.collect().map(elem => (elem._1 + ", " + elem._2)).toList)
    sc.stop()
  }
}