Linux环境下编写Spark应用程序对HDFS中的包含jpg请求的日志文件进行计数 (Scala)

Cheengvho

于 2018-07-23 14:00:35 发布

阅读量313

点赞数

CC 4.0 BY-SA版权

分类专栏： Linux HDFS Spark 文章标签： Spark RDD HDFS Maven Linux

本文链接：https://blog.youkuaiyun.com/m0_37890482/article/details/81166417

HDFS 同时被 3 个专栏收录

11 篇文章

订阅专栏

Linux

9 篇文章

订阅专栏

Spark

9 篇文章

订阅专栏

本文介绍了如何在Linux环境中使用Scala编写Spark应用程序，针对HDFS中的包含jpg请求的日志文件进行计数。首先，详细说明了代码所在的目录结构和`CountJPGs.scala`文件的内容。接着，指导读者进入指定文件夹，通过Maven进行编译，生成jar包。最后，阐述了如何运行该程序，并提及如何将程序提交到YARN集群上运行以获取结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

目录结构 /home/training/training_materials/dev1/exercises/spark-application/countjpgs/src/main/scala/stubs/CountJPGs.scala

编辑这个文件，代码如下：

package stubs

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object CountJPGs {
    def main(ages: Array[String]) {
        if (args.length < 1) {
            System.err.println("Usage: CountJPGs <file>")
            System.exit(1)
        }
        
        val sc = new SparkContext()
        val logfile = args(0)
        val weblogs = sc.textFile(logfile)
        val weblogsJpg = weblogs.map(_.split(' ')(6)).filter(_.contains(".jpg"))
        val weblogJpgCount = weblogsJpg.count()
        println("JPG Count : "+weblogsJpgCount)
        sc.stop
        System.exit(1)
    }
}

进入 /home/training/training_materials/dev1/exercises/spark-application/countjpgs 文件夹下，对该项目进行编译，编译完成后，jar包会出现在target文件夹下：

$ cd  /home/training/training_materials/dev1/exercises/spark-application/countjpgs
$ mvn package

运行该程序

$ spark-submit --class stubs.CountJPGs target/countjpgs-1.0.jar /loudacre/weblogs/*66

就可以看到结果

补充：将程序提交到YARN集群上面运行

$ spark-submit --class stubs.CountJPGs --master yarn-client target/countjpgs-1.0.jar /loudacre/weblogs/*66