从kafka中获取数据写入到redis中

最新推荐文章于 2025-04-24 15:11:29 发布

善若止水

最新推荐文章于 2025-04-24 15:11:29 发布

阅读量9.7k

点赞数 4

分类专栏： spark redis 文章标签： spark redis

本文链接：https://blog.youkuaiyun.com/zhaoxiangchong/article/details/78379977

版权

本文详细介绍了如何从Kafka中获取数据并将其写入Redis的过程，包括Kafka数据注入、Spark配置、代码实现及Redis数据验证。在步骤中强调了关键点，如topic一致性、依赖库的添加以及数据验证。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大家：

好！从kafka中获取数据写入到redis中，需要用到spark中的redis客户端配置，请参考前面的博客(https://blog.youkuaiyun.com/zhaoxiangchong/article/details/78379883)。

第一步要先将数据打入到kafka中，请参照我以前的博客 https://blog.youkuaiyun.com/zhaoxiangchong/article/details/78379927

说明: 尤其要注意kafka中的topic的名称，这两个一定要一致。

第二步，idea中部署kafka打入redis的代码，如下所示:

package Traffic


import java.text.SimpleDateFormat
import java.util.Calendar
import kafka.serializer.{StringDecoder, StringEncoder}
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.{SparkConf, SparkContext}
import net.sf.json.JSONObject


/**
  * Created by Administrator on 2017/10/14.
  * 功能： 从kafka中获取数据写入到redis中
  *
  */
object CarEventAnalysis