大数据NiFi（十九）：实时Json日志数据导入到Hive

文章目录

实时Json日志数据导入到Hive

一、配置“TailFile”处理器

1、创建“TailFile”处理器

2、配置“PROPERTIES”

二、配置“EvaluateJsonPath”处理器

1、创建“EvaluateJsonPath”处理器

2、配置“PROPERTIES”

3、连接“TailFile”处理器和“EvaluateJsonPath”处理器

三、配置“ReplaceText”处理器

1、新建“ReplaceText”处理器，配置“PROPERTIES”处理器

2、连接“EvaluateJsonPath”处理器与“ReplaceText”处理器，同时设置

四、配置“PutHDFS”处理器

1、创建“PutHDFS”处理器并配置

2、连接“ReplaceText”处理器与“PutHDFS”处理器并配置

五、运行测试

1、在Hive中创建外表personinfo在Hive中创建外表personinfo

2、启动NiFi处理数据流程，处理数据

3、查看结果

六、配置“ConvertRecord”处理器

1、创建“ConvertRecord”处理器

2、配置“PROPERTIES”中“Record Reader”配置

3、配置“PROPERTIES”中“Record Writer”：

4、连接“TailFile”处理器和“ConvertRecord”处理器

5、连接“ConvertRecord”处理器与“PutHDFS”处理器

七、​​​​​​​运行测试

---

实时Json日志数据导入到Hive

案例：使用NiFi将某个目录下产生的json类型的日志文件导入到Hive。这里首先将数据通过NiFi将Json数据解析属性，然后手动设置数据格式，将数据导入到HDFS中，Hive建立外表映射此路径实现外部数据导入到Hive中。

使用到的处理器有：“TailFile”、“EvaluateJsonPath”、“ReplaceText”、“PutHDFS”四个处理器。

一、配置“TailFile”处理器