Spark-再次分析Apache访问日志

最新推荐文章于 2022-07-30 12:39:14 发布

07H_JH

最新推荐文章于 2022-07-30 12:39:14 发布

阅读量4.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据框架 spark/hadoop学习文章标签： apache spark

本文链接：https://blog.youkuaiyun.com/jianghuxiaojin/article/details/51414223

大数据框架同时被 2 个专栏收录

107 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

spark/hadoop学习

36 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

这篇博客介绍了如何利用Spark对Apache访问日志进行深入分析，提到了使用特定的分析包，并给出了简单的代码示例。还预告了后续将探讨基于Lambda架构，结合Kafka、Spark Streaming、Hadoop和Spark SQL的实时与离线分析，以及用MySQL进行结果存储，通过Flask创建可视化Web界面。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

分析日志的包

自己编译下：

sbt compile
sbt test
sbt package
ApacheLogParser.jar

对于访问日志简单分析grep等利器比较好，但是更复杂的查询就需要Spark了。

代码：

import com.alvinalexander.accesslogparser._
val p = new AccessLogParser
val log = sc.textFile("log.small")
//log.count
//分析Apache日志中404有多少个
def getStatusCode(line: Option[AccessLogRecord]) = {
  line match {