spark 根据关键字查询日志信息（关键字下行10行）

最新推荐文章于 2021-07-31 20:15:00 发布

撸依天

最新推荐文章于 2021-07-31 20:15:00 发布

阅读量1.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark查询日志

本文链接：https://blog.youkuaiyun.com/korder/article/details/46516637

spark 专栏收录该内容

14 篇文章

订阅专栏

本文介绍了如何配置和使用Spark在测试环境中处理日志查询。通过调整`spark-defaults.conf`设置executor内存为512m，然后在`spark-env.sh`中设置环境。创建`submit-yarn.sh`脚本来提交作业，使用`sparklog.jar`处理从`hdfs://SparkMaster:9000/data`读取的数据，查找关键字`chensy`，并将结果写入`hdfs://SparkMaster:9000/mylog`。执行脚本后，可以通过`hadoop fs -ls /mylog`查看查询结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

业务需要根据关键字查询HDFS日志信息，并且需要查看关键字Key之下10行

package com.spark.scala
import org.apache.spark.{SparkContext,SparkConf}

class mylog{

}

object mylog{
        def main(args: Array[String]) {
            //没有数据源，退出
            if(args(0) == 0){
                System.err.println("Usage:  mylog <file>")
                System.exit(1)
            }
            val conf = new SparkConf().setAppName("mylog")
            val sc = new SparkContext(conf)
            //加载数据、为每行数据添加索引并调换索引与Value值位置
            val f = sc.textFile(args(0)).zipWithIndex.map{
                    case(x,y)=>(y,x)}
            //过滤每行数据是否包含关键字
            val lf = f.filter(line=>line._2.toString
                        .contains(args(1)))
            //取得包含关键字数据所在行的索引号
            val num = lf.map(x=>x._1.toInt)
            //定义查询数据的起止索引
            val startNum = num.first + 0
            val endNum = num.first + 10
            //按起止索引过滤数据，并设置结果只为Value值数据
            val s = f.filter(startNum <= _._1).filter(
                    _._1 <= endNum).map(x=>x._2)
            //重设分区以便保存数据到HDFS上为单文件（结果数据较少）
            s.repartition(1).saveAsTextFile(args(2))
            System.exit(0)
    }
}

spark-defaults.conf
测试环境虚拟机内存比较小，设置spark.executor.memory为512m

spark.master   yarn-client
spark.executor.memory  512m
spark.local.dir  /usr/local/spark/data/tmp_spark_dir

spark-env.sh
这里写图片描述

建一个脚本submit-yarn.sh执行提交作业工作
cd home
vim submit-yarn.sh

cd  /usr/local/spark/spark-1.2.0-bin-hadoop2.4/

./bin/spark-submit  --name sparklog \
                    --class com.spark.scala.mylog \
                    /home/sparklog.jar \
                    hdfs://SparkMaster:9000/data \
                    chensy \
                    hdfs://SparkMaster:9000/mylog

/home/sparklog.jar 对应的是idea打包后为sparklog.jar,并存放在/home
hdfs://SparkMaster:9000/data 对应代码args(0)，输入数据
chensy 对应代码args(1)，是查询关键字
hdfs://SparkMaster:9000/mylog 对应代码args(2)，输出数据

直接在home目录下，执行 ./submit-yarn.sh
查询结果： hadoop fs -ls /mylog