示例：统计IP地址对应的省份，并把结果存入到mysql

最新推荐文章于 2021-04-21 14:40:09 发布

原创

最新推荐文章于 2021-04-21 14:40:09 发布 · 955 阅读

1 ·

CC 4.0 BY-SA版权

该博客介绍如何从access.log文件中提取IP地址，解析它们对应的省份信息，并将这些数据存储到MySQL数据库中，实现日志分析与地理信息结合。

ip.txt
在这里插入图片描述
access.log

import java.io.{
   
   BufferedReader, FileInputStream, InputStreamReader}
import java.sql.{
   
   Connection, DriverManager, PreparedStatement}

import org.apache.spark.{
   
   SparkConf, SparkContext}

import scala.collection.mutable.ArrayBuffer

case class ip(ip: String, ipLong: Long, ipLongMin: Long, ipLongMax: Long, city: String)

object ip extends App {
   
   

  private val sparkConf: SparkConf = new SparkConf().setAppName("ip").setMaster("local[1]")
  private val sc = new SparkContext(sparkConf)

  var ipLongs = sc.textFile("F:\\BigData\\ip\\access.log")
    .map(_.split("[|]"))
    .map(x =>