Scala实现解析Kafka数据写入Mysql

最新推荐文章于 2024-10-14 20:58:04 发布

杨鑫newlfe

最新推荐文章于 2024-10-14 20:58:04 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： Scala 大数据挖掘与大数据应用案例文章标签： Scala Spark Kafka SparkStreaming Rdd

本文链接：https://blog.youkuaiyun.com/u012965373/article/details/89407838

大数据挖掘与大数据应用案例同时被 2 个专栏收录

536 篇文章 ¥9.90 ¥99.00

订阅专栏

Scala

108 篇文章

订阅专栏

该博客介绍了如何利用Scala集成Spark Streaming从Kafka实时消费数据，经过处理后将结果存储到MySQL数据库中。文章通过POM.xml配置展示了项目的依赖关系。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import kafka.message.MessageAndMetadata
import kafka.serializer.StringDecoder
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.spark.streaming.{Durations, StreamingContext}
import org.slf4j.LoggerFactory
import we.com.database.{MySQLOffsetManager, Mysql48PooledHook}
import scala.util.matching.Regex


/**
  * Parse XXXXXX Log Data Write To Mysql
  * @author yangxin_ryan
  */
object RRDWebLog extends Serializable {

  private val LOG = LoggerFactory.getLogger("RRDWebLog")

  /**
    * Process Rdd Write to Mysql
    * @param rdd
    * @param regex_str
    * @param kafkaParams
    */
  def processRdd(rdd: RDD[(String, String, Int)], regex_str: Regex, kafkaParams: M

了解本专栏