spark读取redis数据（交互式，scala单机版，java单机版）

最新推荐文章于 2022-04-25 10:33:52 发布

原创

最新推荐文章于 2022-04-25 10:33:52 发布 · 1.2w 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#spark #redis

本文详细介绍了如何通过交互式方式使用Spark读取Redis数据。首先，在Redis中添加数据，然后将Jedis库添加到Spark的lib目录并启动Spark服务。接着，展示了在Scala和Java单机版中如何读取Redis数据并进行处理，提供了各自的输出结果。

交互式

第一步：向redis中添加数据
这里写图片描述
第二步：将jedis jar包放入~/lib目录下，开启spark服务

第三步：通过spark-shell读取redis数据，并做相应处理

scala单机版

package com.test

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

import redis.clients.jedis.Jedis

object RedisClient {
  def main(args: Array[String]) {

    val conf = new SparkConf()
    conf.setAppName("wow,my first spark app")
    conf.setMaster("local")
    val sc = new SparkContext(conf)
    var jd = new Jedis("172.171.51.154",