踏云追月

国内关于flink的demo较多，我是工作中选择的是spark structure streaming，watermark、append模式、update模式、检查点、sink、source基本都有涵盖。下面的示例主要讲的是消费kafka的数据，根据不同的维度计算度量值。package cn.swiftpass.spark.streaming;import org.apache.spark.sql.Dataset;import org.apache.spark.sql.Row;import o

Transformation：map(func): Return a new distributed dataset formed by passing each element of the source through a function func.val list=sc.parallelize(List(('a',1),('a',2),('b',3),('b',4)))

目标：可以在spark源码内打断点调试，比如我们可以看flatMap方法内部运行。环境：spark 1.4intellij ideamac os第一步：下载spark源码url:http://spark.apache.org/downloads.html第二步：编译spark进入下载好的spark的根目录执行：./sbt/sbt gen-idea