flume结合morphline使用

最新推荐文章于 2024-08-07 10:00:27 发布

weixin_39070689

最新推荐文章于 2024-08-07 10:00:27 发布

阅读量1.6k

点赞数 1

分类专栏： bigdata 文章标签： morphline flume kafka hdfs

本文链接：https://blog.youkuaiyun.com/weixin_39070689/article/details/81592814

版权

本文介绍了如何使用Morphline进行数据清洗，并结合Flume将处理后的数据发送到Kafka和HDFS。通过配置morphline.conf文件，实现了数据预处理，最终将清洗后的数据导入到Hive外部表中进行查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先来介绍下morphline

Morphlines provides a set of frequently-used high-level transformation and I/O commands that can be combined in application specific ways, as described in the Introduction. The following tables provide a short description of each available command and a link to the complete documentation.
更加具体的可以看官网介绍

这次需求跟上次一样只是中间加一层morphline清洗出更多的数据。
测试使用数据请看上一篇的最后部分

morphline.conf

morphlines: [
  {
    id: morphline

    importCommands : ["org.kitesdk.**"]

    commands: [
      {
        readLine {
          charset: UTF-8
        }
      }

      # 解析出字段
      {
        split {
          inputField: message
          outputFields: [date, time, soft, version]
          separator: " "
          isRegex: false
          addEmptyStrings: false
          trim: true
        }
      }
      {
        split {
          inputField: soft
          outputFields: [mes,plat]
          separator: ":"
          isRegex: false
          addEmptyStrings: false
          trim: true
        }
      }
      {
        split {
          inputField: mes
          outputFields: ["",status,name]
          separator: ","
          isRegex: false
          addEmptyStrings: false
          trim: true
        }
      }
      # 将时间戳添加到header中，不加会报找不到timestap
      {
        addValues {
         timestamp: "@{date} @{time}"
        }
      }

    # 格式化上面的时间戳
      {
    convertTimestamp {
      field : timestamp
      inputFormats : ["yyyy-MM-dd HH:mm:ss"]
      outputFormat : unixTimeInMillis
    }

      }

    # 测试使用
      {
    logInfo {
       format : "timestamp: {}, record: {}"
       args : ["@{timestamp}", "@{}"]
    }
      }

    # 将数据转成avro格式，自定义schema
      {
    toAvro {
      schemaFile: /home/training/Desktop/flume-kafka/morphline1/softschema.avsc
    }
      }

    # 指定containlessBinary可以去掉schema头，指定编码解码器

最低0.47元/天解锁文章