spark第二节

最新推荐文章于 2022-01-13 18:51:21 发布

原创最新推荐文章于 2022-01-13 18:51:21 发布 · 156 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#spark

spark 专栏收录该内容

11 篇文章

订阅专栏

1.sparkTextFile读取本地文件的方式

object Test01 {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("Test01")
    val sc = new SparkContext(sparkConf)
    val rdd = sc.textFile("file:///C:/Users/Administrator/Desktop/1.txt")
    val arr = rdd.collect()
    arr.foreach(println)
    sc.stop()
  }
}

2.读取HDFS的方式

    val rdd = sc.textFile("hdfs://localhost:8020/soss/finance/read.dat")
    hdfs://主机名：端口号/hdfs路径

3.wordCount例子

object Test01 {
  def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("Test01")
    val sc = new SparkContext(sparkConf)
    val rdd = sc.textFile("file:///C:/Users/Administrator/Desktop/1.txt")
    val arr = rdd.flatMap(_.split(" ")).map((_,1)).reduceByKey((x,y)=>(x+y))
    arr.foreach(println)
    sc.stop()
  }
}