spark读redis，JAVA版

lazyman001

于 2021-01-26 16:57:11 发布

阅读量495

点赞数

CC 4.0 BY-SA版权

分类专栏：笔记

本文链接：https://blog.youkuaiyun.com/lazyman001/article/details/113184230

笔记专栏收录该内容

7 篇文章

订阅专栏

本文介绍如何使用Spark通过配置连接到Redis数据库，并实现数据的写入操作。具体步骤包括创建SparkConf对象并设置应用名称、主节点类型及Redis的主机名与端口，然后基于此配置建立JavaSparkContext实例，最后利用RedisContext将数据写入Redis。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SparkConf sparkConf = new SparkConf()
.setAppName(“MyApp”)
.setMaster(“local[*]”)
.set(“spark.redis.host”, “localhost”)
.set(“spark.redis.port”, “6379”);

RedisConfig redisConfig = RedisConfig.fromSparkConf(sparkConf);
ReadWriteConfig readWriteConfig = ReadWriteConfig.fromSparkConf(sparkConf);

JavaSparkContext jsc = new JavaSparkContext(sparkConf);
RedisContext redisContext = new RedisContext(jsc.sc());

JavaRDD<Tuple2<String, String>> rdd = jsc.parallelize(Arrays.asList(Tuple2.apply(“myKey”, “Hello”)));
int ttl = 0;

redisContext.toRedisKV(rdd.rdd(), ttl,redisConfig,readWriteConfig)