i_m_jack的博客

作用：全局计数 在简单Spark Streaming上 开启checkpoint机制，很简单，只要调用jssc的checkpoint()方法，设置一个hdfs目录即可 jssc.checkpoint("hdfs://master:9000/wordcount_checkpoint"); updateStateByKey public Optional<Integer>...

http://lxw1234.com/archives/2015/07/386.htm

深入理解groupByKey、reduceByKey区别——本质就是一个local machine的reduce操作 下面来看看groupByKey和reduceByKey的区别： val conf = new SparkConf().setAppName("GroupAndReduce").setMaster("local") val sc = new SparkContext(con...

// 每个点为hardData中的一个Array val hardData = spark.read.textFile(args(0)).rdd .map(_.split(" ").map(_.toDouble).toArray) .cache() hardData.map(a => println(a(0).toString + " " + a(...

https://blog.youkuaiyun.com/qq_29499107/article/details/80733808 返回一个Tuple2<Iterable, Iterable>