Spark Streaming实现词频计算将结果保存到Mysql数据库（scala）

最新推荐文章于 2022-06-12 01:25:03 发布

浅夏初雨yan

最新推荐文章于 2022-06-12 01:25:03 发布

阅读量772

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据 scala 文章标签： scala

本文链接：https://blog.youkuaiyun.com/adayan_2015/article/details/88420285

本文介绍如何使用Scala和Spark Streaming进行词频计算，并将结果存储到Mysql数据库。首先创建Mysql连接池，然后在ForeachRDDApp中实现具体的统计和保存操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark Streaming实现词频计算将结果保存到Mysql数据库（scala）实例。

1）建立Mysql连接池(MysqlPool.scala)

package com.fyy.spark.streaming
import java.sql.{Connection, DriverManager}
import java.util

/**
  * @Title: MysqlPool
  * @ProjectName SparkStreamingProject
  * @Description: 创建MySQL连接池
  * @author fanyanyan
  */
object MysqlPool {
  private val max = 8 //连接池的连接总数
  private val connectionNum = 10 //每次产生的连接数
  private var conNum = 0 //当前连接池已经产生的连接数


  private val pool = new util.LinkedList[Connection]() //连接池

  {
    Class.forName("com.mysql.jdbc.Driver")
  }

  /**
    * 释放连接
    * @param conn
    */
  def closeConnect(conn: Connection) = {
    pool.push(conn)
  }

  /**
    * 获取连接
    */
  def getConnect(): Connection = {
    //同步代码块
    AnyRef.synchronized({
      if(pool.isEmpty){
        for(i <- 1 to connectionNum){
          val conn = DriverManager.getConnection("jdbc:mysql://01.server.bd:3306/streaming","root","123456")
          pool.push(con