javaMylife的博客

前边我们已经有了两种解决方式《sparkStream+kafka实现exactlyOne第三种--Mysql-事务》、《sparkStream+kafka实现exactlyOne第二种--Redis-pipeline》 这是第三种《sparkStream+kafka实现exactlyOne第二种--Hbase-行内事务 phoenix》，habse一行的数据 是有事务的，这一行要么都成功，要么都失败， 因此，我们可以为一个hbase表添加一个offset列族，每次写入一条数据就将offset一并写入（.

主要思路 将数据收集到driver端，利用redis的Pipeline写数据和偏移量，与第一种mysql的类似 但是redis pipline只有单机版redis或者主备redis才支持，集群版的redis不支持 package com.ws.sparkstreaming.kafkaredis import com.ws.sparkstreaming.utils.{JedisPool, OffsetUtils} import org.apache.kafka.clients.consumer.

主要思路 1、读取历史偏移量 2、根据偏移量加载数据 kafkaUtils.createDirectStream 获取Dstream 3、遍历Dstream foreachRdd 获取到kafkaRdd 4、从kafkaRdd as获取当前偏移量kafkaRdd.asInstanceOf[HasOffsetRanges].offsetRanges 5、开启事务 6、kafkaRdd.value 获取kafka输入的数据 7、rdd转换 处理、将数据写入mysql 8、根据新...

SparkSteaming整合kafka和redis，这里用的是默认偏移量 package com.ws.sparkstreaming import org.apache.kafka.clients.consumer.ConsumerRecord import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, InputDStream} import org.apache.spark.stre.

updateStateByKey package com.ws.sparkstreaming import org.apache.spark.SparkConf import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import org.apache.spark.streaming.{Seconds, StreamingContext} object WordCountUpdateState { def