spark 通过 scala 读取数据并且存入 mysql

最新推荐文章于 2025-06-16 23:27:23 发布

李景山-编程者

最新推荐文章于 2025-06-16 23:27:23 发布

阅读量2.6k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/lijingshan34/article/details/82863304

import java.sql.{Connection,Driver,DriverManager,ResultSet,PreparedStatement}
import org.apache.spark.{SparkConf, SparkContext}

//把每个jsp的访问量，直接保存到Oracle数据中
 // spark-submit --master local --class SaveMySQL SaveSQL.jar
object SaveMySQL {
  def main(args: Array[String]): Unit = {
    //定义SparkContext对象
    val conf = new SparkConf().setAppName("SaveSQL")

    //创建SparkContext对象
    val sc = new SparkContext(conf)

    //读入数据
    //日志：192.168.88.1 - - [30/Jul/2017:12:54:38 +0800] "GET /MyDemoWeb/hadoop.jsp HTTP/1.1" 200 242
    val logData = sc.textFile("/root/log.txt").map(
      line => {
        //解析字符串：找到hadoo.jsp
        //得到: .jsp位置
        val index1 = line.indexOf("\"") //得到的是第一个双引号的位置
        val index2 = line.lastIndexOf("\"") //得到的是最后一个双引号的位置

        //子串：GET /MyDemoWeb/hadoop.jsp HTTP/1.1
        val line1 = line.substring(index1 + 1, index2)
        val index3 = line1.indexOf(" ") //子串中第一个空格
        val index4 = line1.lastIndexOf(" ") //子串中最后一个空格

        //子串