weixin_44128597的博客

1.首先,先看它的方法标签，主要传进来三个参数,第一个是一个updateFunc函数,这个函数很明确的告诉你这里面的输入值是 updateFunc: (Iterator[(K, Seq[V], Option[S])]) => Iterator[(K, S)], 输出值是Iterator[(K, S)] 另外一个参数就是分区器 下面主要介绍updateFunc这个函数是如何处理数据的,现在我们从实际场景出发,现在这个函数是有状态的,就意味着要保存上一次DStream的结果,利用上一个DStr

1.首先要解决版本问题,先看自己的spark的版本,这一步及其重要,scala版本必须相同 我的scala版本是 2.11.12 2.在你的idea下面导入相同的scala版本,步骤放上 3.引入jar包 ,现在我的kafka的版本是 2.11-2.00的版本 所以 streaming-kafka-0-10_2.10 这个包一定要2.10 dependencies { testCompile group: 'junit', name: 'junit', version: '4.12' c