大数据-Spark实例

Spark日志分析实战
最新推荐文章于 2025-10-22 15:14:26 发布
原创 最新推荐文章于 2025-10-22 15:14:26 发布 · 3.6k 阅读 · 18 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark的图片访问量 #Spark的自定义分区 #Spark访问数据库 #Spark案例

Spark实例

tomcat日志 
110.52.250.126 - - [30/May/2018:17:38:20 +0800] "GET /source/plugin/wsh_wx/img/wsh_zk.css HTTP/1.1" 200 1482
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/hot_1.gif HTTP/1.1" 200 680
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/hot_1.gif HTTP/1.1" 200 682
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/filetype/common.gif HTTP/1.1" 200 90
110.52.250.126 - - [30/May/2018:17:38:20 +0800] "GET /source/plugin/wsh_wx/img/wx_jqr.gif HTTP/1.1" 200 1770
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/recommend_1.gif HTTP/1.1" 200 1030
110.52.250.126 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/wsh_zk.css HTTP/1.1" 200 4542
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /data/attachment/common/c8/common_2_verify_icon.png HTTP/1.1" 200 582
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/pn.png HTTP/1.1" 200 592
27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/editor/editor.gif HTTP/1.1" 200 13648
8.35.201.165 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/05/94/42_avatar_middle.jpg HTTP/1.1" 200 6153
8.35.201.164 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/03/13/42_avatar_middle.jpg HTTP/1.1" 200 5087
8.35.201.163 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/04/87/42_avatar_middle.jpg HTTP/1.1" 200 5117
8.35.201.165 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/01/01/42_avatar_middle.jpg HTTP/1.1" 200 5844
8.35.201.160 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/04/12/42_avatar_middle.jpg HTTP/1.1" 200 3174
8.35.201.163 - - [30/May/2018:17:38:21 +0800] "GET /static/image/common/arw_r.gif HTTP/1.1" 200 65
8.35.201.166 - - [30/May/2018:17:38:21 +0800] "GET /static/image/common/search.png HTTP/1.1" 200 210
8.35.201.144 - - [30/May/2018:17:38:21 +0800] "GET /static/image/common/pmto.gif HTTP/1.1" 200 152
8.35.201.161 - - [30/May/2018:17:38:21 +0800] "GET /static/image/common/search.png HTTP/1.1" 200 3047
8.35.201.164 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/05/83/35_avatar_middle.jpg HTTP/1.1" 200 7171
8.35.201.160 - - [30/May/2018:17:38:21 +0800] "GET /uc_server/data/avatar/000/01/54/35_avatar_middle.jpg HTTP/1.1" 200 5396
实例一：求图片的访问量
scala代码 
package Spark

import org.apache.spark.{SparkConf, SparkContext}
import scala.util.matching.Regex

/*
* 解析tomcat日志
*
* @author Jabin
* @version 0.0.1
* @data 2019/07/16
* */
object LogCount {
  def main(args: Array[String]): Unit = {
    //创建Spark配置
    val conf = new SparkConf().setAppName("Log.Count").setMaster("local")
    //加载Spark配置
    val sc = new SparkContext(conf)

    val rdd = sc.textFile("C:\\Users\\Administrator\\Desktop\\日志\\tomcat.log")
    .map(
      line => {
      /*
      * 27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127
      * 通过正则表达式匹配
      * */
      val pattern = "(/(\\w)+)+\\.[a-z]{3}".r
      //得到/static/image/common/faq.gif
      val photoDir = pattern.findAllIn(line).mkString(",")
      val regex = new Regex("\\w+\\.[a-z]{3}")
      //得到faq.gif
      val photoName = regex.findAllIn(photoDir).mkString(",")

      (photoName, 1)
    }
    )

    val rdd1 = rdd.reduceByKey(_+_)

    rdd1.foreach(println)

    val rdd2 = rdd1.sortBy(_._2,false)

    rdd2.foreach(println)

    rdd2.take(2).foreach(println)

    //关闭
    sc.stop()
  }
}

结果

//reduceByKey结果
(editor.gif,1)
(common.gif,1)
(35_avatar_middle.jpg,2)
(pn.png,1)
(wx_jqr.gif,1)
(pmto.gif,1)
(wsh_zk.css,2)
(42_avatar_middle.jpg,5)
(arw_r.gif,1)
(common_2_verify_icon.png,1)
(hot_1.gif,2)
(search.png,2)
(recommend_1.gif,1)
(faq.gif,1)
//sortBy结果
(42_avatar_middle.jpg,5)
(35_avatar_middle.jpg,2)
(wsh_zk.css,2)
(hot_1.gif,2)
(search.png,2)
(editor.gif,1)
(common.gif,1)
(pn.png,1)
(wx_jqr.gif,1)
(pmto.gif,1)
(arw_r.gif,1)
(common_2_verify_icon.png,1)
(recommend_1.gif,1)
(faq.gif,1)
//最终结果
(42_avatar_middle.jpg,5)
(35_avatar_middle.jpg,2)
实例二：创建自定义分区

scala代码

package Spark

import org.apache.spark.{Partitioner, SparkConf, SparkContext}
import scala.collection.mutable
import scala.util.matching.Regex

/*
* 解析tomcat日志，自定义分区
*
* @author Jabin
* @version 0.0.1
* @data 2019/07/16
* */
object PartitionCount {
  def main(args: Array[String]): Unit = {
    //创建Spark配置
    val conf = new SparkConf().setAppName("Partition.Count").setMaster("local")
    //加载Spark配置
    val sc = new SparkContext(conf)

    val rdd = sc.textFile("C:\\Users\\Administrator\\Desktop\\作业\\tomcat.log")
      .map(
        line => {
          /*
          * 27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127
          * 通过正则表达式匹配
          * */
          val pattern = "(/(\\w)+)+\\.[a-z]{3}".r
          //得到/static/image/common/faq.gif
          val photoDir = pattern.findAllIn(line).mkString(",")
          val regex = new Regex("\\w+\\.[a-z]{3}")
          //得到faq.gif
          val photoName = regex.findAllIn(photoDir).mkString(",")

          (photoName, line)
        }
      )

    //获取不重复的photoName
    val rdd1 = rdd.map(_._1).distinct().collect

    //创建分区规则
    val partition = new PartitionCount(rdd1)
    val rdd2 = rdd.partitionBy(partition)

    rdd2.saveAsTextFile("C:\\Users\\Administrator\\Desktop\\日志\\partition")

	//关闭
    sc.stop()
  }
}

class PartitionCount(array: Array[String]) extends Partitioner{
  //创建map存储photoName
  val map = new mutable.HashMap[String, Int]()
  //初始化分区
  var id = 0

  for (arr <- array){
    map.put(arr,id)
    id += 1
  }

  //返回分区的数目
  override def numPartitions: Int = map.size

  //根据photoName，返回对应的分区
  override def getPartition(key: Any): Int = map.getOrElse(key.toString,0)
}

结果

在这里插入图片描述

实例三：访问数据库（查询）
SQL代码 
CREATE database IF NOT EXISTS DATA;
USE DATA;
CREATE TABLE EMPLOYEE(ID INT NOT NULL AUTO_INCREMENT,NAME VARCHAR(20),SALARY INT,PRIMARY KEY(ID));
INSERT INTO EMPLOYEE(NAME,SALARY) VALUES('Destiny',1000);
INSERT INTO EMPLOYEE(NAME,SALARY) VALUES('Freedom',4500);
INSERT INTO EMPLOYEE(NAME,SALARY) VALUES('Fate',3000);
SELECT * FROM EMPLOYEE;

在这里插入图片描述
scala代码

package Spark

import java.sql.DriverManager

import org.apache.spark.rdd.JdbcRDD
import org.apache.spark.{SparkConf, SparkContext}
/*
* 解析tomcat日志，自定义分区
*
* @author Jabin
* @version 0.0.1
* @data 2019/07/17
* */
object JDBC {
  //创建连接
  private val connection = () => {
    Class.forName("com.mysql.cj.jdbc.Driver").newInstance()
    DriverManager.getConnection("jdbc:mysql://localhost:3306/data?serverTimezone=GMT%2B8","root","root")
  }

  def main(args: Array[String]): Unit = {
    //创建Spark配置
    val conf = new SparkConf().setAppName("JDBC.Count").setMaster("local")
    //加载Spark配置
    val sc = new SparkContext(conf)

    val rdd = new JdbcRDD(sc,connection,"SELECT * FROM EMPLOYEE WHERE SALARY >= ? AND SALARY < ?",3000,6000,2,r => {
      val name = r.getString(2)
      val salary = r.getInt(3)

      (name,salary)
    })

    val result = rdd.collect()

    println(result.toBuffer)
//    result.foreach(println)

    //关闭
    sc.stop()
  }
}

结果

ArrayBuffer((FATE,3000), (FREEDOM,4500))
实例三：访问数据库（插入）
SQL代码 
CREATE database IF NOT EXISTS DATA;
USE DATA;
CREATE TABLE LOG(PhotoName VARCHAR(50),Num INT)

在这里插入图片描述
scala代码

package Spark

import java.sql.{Connection, DriverManager, PreparedStatement}
import org.apache.spark.{SparkConf, SparkContext}
import scala.util.matching.Regex

/*
* 将数据导入到MySQL
*
* @author Jabin
* @version 0.0.1
* @data 2019/07/18
* */
object MyMySQL {
  var connection : Connection = _
  var pst : PreparedStatement = _
  def main(args: Array[String]): Unit = {
    //创建Spark配置
    val conf = new SparkConf().setAppName("MySQL.Count").setMaster("local")
    //加载Spark配置
    val sc = new SparkContext(conf)

    val rdd = sc.textFile("C:\\Users\\Administrator\\Desktop\\作业\\tomcat.log")
      .map(
        line => {
          /*
          * 27.19.74.143 - - [30/May/2018:17:38:20 +0800] "GET /static/image/common/faq.gif HTTP/1.1" 200 1127
          * 通过正则表达式匹配
          * */
          val pattern = "(/(\\w)+)+\\.[a-z]{3}".r
          //得到/static/image/common/faq.gif
          val photoDir = pattern.findAllIn(line).mkString(",")
          val regex = new Regex("\\w+\\.[a-z]{3}")
          //得到faq.gif
          val photoName = regex.findAllIn(photoDir).mkString(",")

          (photoName, 1)
        }
      )

    val rdd1 = rdd.reduceByKey(_+_)

    rdd1.foreachPartition(insertData)

    sc.stop()
  }

  def insertData(iter: Iterator[(String, Int)]) = {
    try{
      connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/data?serverTimezone=GMT%2B8","root","root")
      pst = connection.prepareStatement("INSERT INTO LOG VALUES(?,?)")
      iter.foreach(f =>{
        pst.setString(1,f._1)
        pst.setInt(2,f._2)

        pst.executeUpdate()
      })
    }catch{
      case t: Throwable => t.printStackTrace()
    }finally {
      if (connection != null) connection.close()
      if (pst != null) pst.close()
    }
  }
}

结果

在这里插入图片描述

大数据之Spark入门案例
weixin_43339889的博客
04-09 725
PySpark入门案例
大数据技术--实验06-Spark的安装与使用【实测可行】
u013571432的博客
07-19 1155
下面详细讲解有关Hadoop2.6.0上的spark1.5.2集群如何搭建。
spark大数据案例
11-12
包含了Spark的一系列的小案例，包含core，sql，stream等案例
大数据之spark_spark的案例分析
WuBoooo的博客
09-18 5009
计算订单分类成交金额 需求 在给定的订单数据，根据订单的分类ID进行聚合，然后按照订单分类名称，统计出某一天商品各个分类的成交金额 数据样例 {“cid”: 1, “money”: 600.0, “longitude”:116.397128,“latitude”:39.916527,“oid”:“o123”, } “oid”:“o112”, “cid”: 3, “money”: 200.0, “longitude”:118.396128,“latitude”:35.916527} {“oid”:“o124”
Spark大数据处理实战使用案例详解
最新发布
weixin_29041443的博客
10-22 811
弹性分布式数据集（Resilient Distributed Dataset，简称RDD）是Apache Spark中最基础且核心的抽象数据结构。它代表一个不可变、可分区、容错、并行处理的元素集合，能够被缓存在内存中以支持高效的迭代计算和多轮数据处理任务。RDD的设计初衷是为了克服Hadoop MapReduce在处理迭代算法时频繁读写磁盘所带来的性能瓶颈。在Spark运行时环境中，所有的数据操作都基于RDD展开。用户通过调用mapfilterreduce。
【年度案例】大数据盘点之Spark篇
weixin_45583158的博客
01-07 551
编者按：高可用架构推出 2015 年度案例系列文章，分享在架构领域具有典型意义的年度案例，本文由谭政分享。转载请注明来自高可用架构公众号「ArchNotes」。谭政，Hu...
Spark使用实例
weixin_30606461的博客
08-28 248
1.介绍 Spark是基于Hadoop的大数据处理框架，相比较MapReduce，Spark对数据的处理是在本地内存中进行，中间数据不需要落地，因此速度有很大的提升。而MapReduce在map阶段和Reduce阶段后都需要文件落地，对于连续的数据处理，就需要写多个MapReduce Job接力执行。 最近分析用户查询日志提取共现查询，流程如下：a.先获得<uid, query...
大数据---电商数据分析.zip
01-11
本资料包“大数据---电商数据分析.zip”似乎是一个关于如何利用大数据技术进行电商数据分析的项目实例，其中包含了一些关键文件，如consumer.iml、pom.xml、target、src以及.idea。接下来，我们将深入探讨这些文件与...
大数据-基础大题.pdf
05-06
综上所述，"大数据-基础大题.pdf"文档资料可能包含了大数据的基本概念、特征、处理技术和应用实例，以及相关的职业发展方向。这些内容对于理解大数据的核心要素及其在现代商业和社会中的作用至关重要。然而，提供的...
java代码-20大数据 -05
07-15
在这个"java代码-20大数据 -05"的项目中，我们可以推测这是关于利用Java处理大数据问题的一个实例或者教程。下面将详细讨论相关知识点。 1. **Hadoop与MapReduce**: 大数据处理往往离不开Apache Hadoop框架，它是一...
大数据-课程讲义.zip
03-23
通过这些讲义，读者可以全面理解大数据的体系架构，掌握Hadoop生态中的关键组件，如HDFS、MapReduce、HBase、Hive和Spark，从而在大数据领域建立起坚实的基础。这些知识点不仅有助于理论学习，也为实际项目开发提供...
Spark大数据案例分析和介绍
11-24
hadoop spark parameter server 框架介绍，案例：计算广告、智慧城市、大数据背景下的金融产品定价
大数据系列之Spark性能优化案例详细《转载》
weixin_48978790的博客
03-07 1020
​ 大数据系列之Spark性能优化案例分析 ​
spark处理大数据实例
weixin_51992731的博客
01-05 824
def get_debt_rank(self): ''' 统计各年龄段债务情况（严重/不严重） :return: ''' all_list=[] bin = [0, 30, 45, 60, 75, 100] df_age_debt = df.select(df['age'], df['DebtRatio']) age_debt_y = [] for i i...
spark安装包_「大数据」（七十四）Spark之应用案例编程
weixin_39548490的博客
11-20 218
【导读：数据是二十一世纪的石油，蕴含巨大价值，这是·情报通·大数据技术系列第[74]篇文章，欢迎阅读和收藏】1 搭建开发环境1.1 安装 Scala IDE搭建 Scala 语言开发环境很容易， Scala IDE 官网 下载合适的版本并解压就可以完成安装，下文示例中使用的版本是 4.1.0 。1.2 安装 Scala 语言包如果下载的 Scala IDE 自带的 Scala 语言包与 Spark...
spark入门小例子
测试
03-01 555
1，pyspark2，spark-shellspark网页管理页面：http://127.0.0.1:4040/jobs/3，设置日志输出：log4j.properties.template。把这个日志设置模版文件复制一份到conf/log4j.properties 来作为日志设置文件，接下来找到下面这一行：log4j.rootCategory=INFO, console然后通过下面的设定降低...
spark例子
lt0318aa的博客
05-13 351
MAP变换例子：用map 给英语成绩+1分给数学成绩-1分flatMap()（1）reduce()：并行汇总所有RDD元素reduce()参数是一个函数，这个函数有两个参数（首先会分区（默认分区数量与虚拟机的核心数有关，我的是2），然后每个分区得出结果最后汇总），两个参数分别是每次分区后两个分区的结果执行过程：分区：[(1,2),(3,4)]第一次结果：[3,7]最后结果：10尝试理解减法操作：分...
大数据之Spark案例实操完整使用(第六章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
06-27 2759
上面的数据图是从数据文件中截取的一部分内容，表示为电商网站的用户行为数据，主要包含用户的 4 种行为：搜索，点击，下单，支付。数据规则如下：➢ 数据文件中每行数据采用下划线分隔数据➢ 每一行数据表示用户的一次行为，这个行为只能是 4 种行为的一种➢ 如果搜索关键字为 null,表示数据不是搜索数据➢ 如果点击的品类 ID 和产品 ID 为-1，表示数据不是点击数据➢ 针对于下单行为，一次可以下单多个商品，所以品类 ID 和产品 ID 可以是多个，id 之间采用逗号分隔，如果本次不是下单行为，则数据采用 nu
Spark - 经典案例
weixin_30475039的博客
04-06 611
初识 Spark 大数据处理，目前还只是小白阶段，初步搭建起运行环境，慢慢学习之。 本文熟悉下 Spark 数据处理的几个经典案例。 首先将 Scala SDK 的源码导入 IDEA，方便查看和调试代码，具体参考：intellij idea查看scala sdk的源代码 WordCount WordCount 号称大数据界的 HelloWorld，初识大数据代码，从 WordCount 开...
头歌实践教学平台-大数据-分析与处理-大数据分析与处理-数据分析与处理——Spark，4-7 Spark算子 - JAVA版本
03-15
### 关于头歌教学平台中的Spark算子Java版本教程 在大数据分析与处理领域，Apache Spark 是一种高效的分布式计算框架。对于使用 Java 编写的 Spark 应用程序而言，了解 Spark 的核心概念以及其算子的实现方法至关重要。以下是针对头歌实践教学平台中涉及的大数据分析与处理课程（特别是第4至第7章节）的相关内容解析。 #### Spark 算子的核心概念 Spark 提供了一组丰富的操作符（即算子），这些算子可以分为两大类：转换 (Transformation) 和行动 (Action)[^1]。 - **转换**是指创建一个新的 RDD 或 DataFrame/Dataset 的操作，例如 `map`、`filter`、`reduceByKey` 等。 - **行动**则是触发实际计算并返回结果的操作，例如 `collect`、`count`、`saveAsTextFile` 等。 在 Java 版本中，开发者可以通过编写 Lambda 表达式或匿名内部类来定义这些算子的行为[^5]。 --- #### 示例代码展示 以下是一些常见的 Spark 算子及其对应的 Java 实现： ##### 1. 使用 `map` 转换函数 ```java import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; public class MapExample { public static void main(String[] args) { JavaSparkContext sc = new JavaSparkContext("local", "Map Example"); // 创建初始数据集 JavaRDD<Integer> data = sc.parallelize(Arrays.asList(1, 2, 3, 4)); // 使用 map 函数将每个元素乘以 2 JavaRDD<Integer> mappedData = data.map(x -> x * 2); System.out.println(mappedData.collect()); sc.close(); } } ``` 此代码展示了如何通过 `map` 将输入集合中的每个整数加倍[^4]。 ##### 2. 使用 `filter` 过滤数据 ```java import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; public class FilterExample { public static void main(String[] args) { JavaSparkContext sc = new JavaSparkContext("local", "Filter Example"); // 创建初始数据集 JavaRDD<String> words = sc.parallelize(Arrays.asList("apple", "banana", "cherry")); // 使用 filter 只保留长度大于等于 5 的单词 JavaRDD<String> filteredWords = words.filter(word -> word.length() >= 5); System.out.println(filteredWords.collect()); sc.close(); } } ``` 这段代码演示了如何过滤掉不符合条件的数据项。 ##### 3. 使用 `reduceByKey` 合并键值对 ```java import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import scala.Tuple2; public class ReduceByKeyExample { public static void main(String[] args) { JavaSparkContext sc = new JavaSparkContext("local", "Reduce By Key Example"); // 创建键值对数据集 List<Tuple2<String, Integer>> tuples = Arrays.asList( new Tuple2<>("a", 1), new Tuple2<>("b", 2), new Tuple2<>("a", 3), new Tuple2<>("b", 4) ); JavaPairRDD<String, Integer> pairRdd = sc.parallelizePairs(tuples); // 对相同 key 的 value 执行求和操作 JavaPairRDD<String, Integer> reducedRdd = pairRdd.reduceByKey((x, y) -> x + y); System.out.println(reducedRdd.collect()); sc.close(); } } ``` 上述示例说明了如何利用 `reduceByKey` 来聚合具有相同键的值。 --- #### 学习资源推荐 为了更好地理解 Spark 算子的工作原理，在学习过程中可参考如下资料： - 官方文档提供了详细的 API 描述和实例。 - 头歌教学平台上的实验项目通常会结合具体业务场景讲解算子的实际用途[^3]。 - 如果希望进一步提升技能水平，《Hadoop+Spark大数据分析实战》一书由迟殿委撰写，涵盖了大量实用案例[^2]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值