OutRoading的博客

学习SparkStreaming之前建议 先学习Scala 和 Spark ，这两个学好了，用法大同小异 SparkStreaming使用离散化流作为抽象表示，叫做DStream。可用netcat做测试 SparkStream 用采集器间隔时间从数据源采集数据，装成一个个离散化流，离散化流再发给driver，最终发给executor执行 def sparkStreamingTest=...

算子 学习spark之前，强烈建议先学习scala。学过java，再学scala不难，看两三天教程就能看会基本操作了。这对学习spark的使用会事半功倍。scala和java的一些写法还是存在很多不同点的。 Map: 可以进行计算以及格式转化，对每一条数据操作 // 进行计算 def mapTest={ val conf = new SparkConf().setMaster("...