flink sql 自定义format 通过正则表达式解析日志

XLF763

于 2024-04-10 16:12:39 发布

阅读量413

点赞数 2

文章标签： flink 大数据

本文链接：https://blog.youkuaiyun.com/qq_18494057/article/details/137600538

版权

本文介绍了如何通过FlinkSQL结合自定义format和正则表达式文件解析多种不规则的日志数据，并将结果写入Elasticsearch。详细步骤包括table定义、配置解析规则、自定义DeserializationFormat和工厂，以及服务发现的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 背景：

多种不规则日志，需要通过正则表达式解析，事实写进es

二. 方式

flink sql + 自定义format + 正则表达式文件。

三. 代码

1. table 定义

  String  source=" create table  source_table (\n" +
                "$_logName  string, \n"+
                "f0  string , \n" +
                "f1  string , \n" +
                "f2  string  , \n" +
                "f3  string  , \n" +
                "$_logSendTime  string , \n" +
                "$_logId  string , \n" +
                "$_projectName  string  \n" +
                ") with ( \n" +
                "'connector'='filesystem' , \n" +
                "  'path'='file:///d:/data/pwrd2' , \n " +
                " 'format'='pwrd_decode'   \n"

最低0.47元/天解锁文章