sinat_34233802的博客

1、实现日志的本地存储 且日志的名字不变 listentcp–evaluatejsonpath–mergecontent–putfile（evaluatescript） putfile不支持添加数据流到文件，故可以通过自己写脚本来实现。 2、实现日志到hdfs的保存 同理 3、根据不同数据内容决定数据流向（正则匹配） 4 getkafka

中间好多坑。。。尤其是PUTHDFS的那一步

import jsonimport java.iofrom org.apache.commons.io import IOUtilsfrom java.nio.charset import StandardCharsetsfrom org.apache.nifi.processor.io import StreamCallbackfrom org.apache.nifi.processor

NIFI 简介 1、NIFI 的概念 1.1 起源：NIFI是为了自动化的处理和管理系统之间的数据流而产生的，基本设计概念与基于流的编程[fbp]的主要思想密切相关 1.2 nifi核心概念 FlowFile：FlowFile表示通过系统移动的每个对象，包含数据流的基本属性 FlowFile Processor（处理器）：负责实际对数据流执行工作 Connect