MyUtil：保存数据到redis

drl_blogs

于 2019-07-10 17:13:01 发布

阅读量327

点赞数

分类专栏： # MyUtil

本文链接：https://blog.youkuaiyun.com/drl_blogs/article/details/95354369

版权

MyUtil 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了如何利用自定义工具类MyUtil实现在应用中便捷地将数据存储到Redis缓存系统，从而提高数据读写效率。通过具体示例，展示了其简单易用的接口和高效的操作流程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.kafka010.OffsetRange
import redis.Jpools

object DataToRedis {
  //保存数据到redis
  def saveDataOffset(result1: RDD[((String,String,String), Int)],ranges: Array[OffsetRange],groupid:String)={
    result1.foreachPartition(filter=>{
      //获取redis链接
      val jedis = Jpools.getJedis
      //开启一个事物
      val transaction = jedis.multi()
      //开始添加数据
      filter.foreach(tp=>{
        try{
          //存储数据
          transaction.hincrBy("operator",tp._1._1+":"+tp._1._2+":"+tp._1._3,tp._2)
          //存储偏移量
          for(o <- ranges){
            transaction.hset(groupid,o.topic+":"+o.partition,o.untilOffset.toString)
          }
        }catch {
          case _ => println("报错了，需要回滚")
            //需要回滚
            transaction.discard()
        }
      })
      //事物对象去提交  不管失败与成功，都需要报告结果（提交结果）
      //跳出循环，总的提交
      transaction.exec()
      //关闭redis链接
      jedis.close()
    })
  }

}