spark 支持native redis Api（精华）

最新推荐文章于 2025-05-14 03:06:29 发布

bigdataCoding

最新推荐文章于 2025-05-14 03:06:29 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Spark redis

本文链接：https://blog.youkuaiyun.com/UnionIBM/article/details/52654392

Spark 同时被 2 个专栏收录

20 篇文章

订阅专栏

redis

5 篇文章

订阅专栏

本文介绍了一个使用Scala编写的示例程序，该程序演示了如何利用Spark与Redis进行集成操作，包括从Redis中读取数据并执行基本的数据处理任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

def main(args: Array[String]): Unit = {

  val conf = new SparkConf().setMaster("local[*]")
    .setAppName("redis")
    .buildRedis()


  val sc = new SparkContext(conf)


  val inithost = sc.getConf.inithost()
   //原生的操作
  val rediscontext=new RedisContext(sc)
  //原声native的支持，从redis读取数据，主要.getZSet()，要和redis存入的类型一致(list,zset,hash)  val runKeyRDD = sc.fromRedisKeyPattern(inithost, "runkey").getZSet()  runKeyRDD.foreach(println)  val runTestRDD = sc.parallelize(Seq("DB2")).map(x => (x, x.length.toString))  //RDD的类型为RDD[String,String]  sc.toRedisZSET(runTestRDD, "runkey", inithost)}
//隐式类
implicit class ResiConf(conf: SparkConf) {

  def buildRedis(): SparkConf = {
    conf.set("redis.host", "127.0.0.1")
    conf.set("redis.port", "6379")

  }
  def inithost(): (String, Int) = {
    ("localhost", 6379)
  }


}