初衷:对于一些新接触Apache NIFI的小伙伴来说,他们急于想体验NIFI,恨不得直接找到一篇文章,照着做就直接能够解决目前遇到的需求或者问题,回想当初的我,也是这个心态。其实这样的心态是不对的。好多加入NIFI学习群的新手同学都会有这个问题,一些基本的概念和知识点都没有掌握,然后提出了一堆很初级的问题,对于这些问题,我们可能已经回答了几十上百次,厌倦了,所以大家一般会说"你先去看文档吧!"。其实,对于一个新手,直接看文档,也是一脸懵。所以在这里,我带领新手的你,新建一个同步的流程,并尽可能在新建流程的同时,穿插一些基本概念。跟随本文一起操作或者只是看看,最后你可能就找到了入门的感觉了。
环境
- Apache NIFI:1.11.4 单节点
- Linux:CentOS Linux release 7.5.1804 16G内存 48G存储 虚拟机
- DB:MySQL
Apache NIFI 部署
获取安装包
如果不是编译源码,建议使用国内镜像去下载,一般直接下载zip包就可以了,加入最新版本时1.11.4,那就下载nifi-1.11.4-bin.zip
部署Apache NIFI
-
上传Apache NIFI包到Linux上,解压安装包;或者将你的本地作为服务器,直接解压zip包。
-
在解压的目录下,找到conf目录,编辑
bootstrap.conf
文件,修改NIFI的内存配置,默认的值比较小,比如这里我改成启动2g,最大10g
java.arg.2=-Xms2g
java.arg.3=-Xmx10g
- 在解压的目录下,找到bin目录,可以看到里面有一些脚本
dump-nifi.bat
nifi-env.bat
nifi-env.sh
nifi.sh
run-nifi.bat
status-nifi.bat
Linux或者Mac,使用nifi.sh start
启动NIFI,nifi.sh stop
停止NIFI,nifi.sh restart
重启NIFI。
Windows下,直接双击run-nifi.bat
即可,退出的时候关闭运行窗口就可以了。
在解压的目录下,找到log目录,当看到类似于下面的内容时,NIFI就启动成功了
2020-05-27 14:26:02,844 INFO [main] o.eclipse.jetty.server.AbstractConnector Started ServerConnector@58516c91{HTTP/1.1,[http/1.1]}{0.0.0.0:8080}
2020-05-27 14:26:02,845 INFO [main] org.eclipse.jetty.server.Server Started @151563ms
2020-05-27 14:26:02,900 INFO [main] org.apache.nifi.nar.NarAutoLoader Starting NAR Auto-Loader for directory ./extensions ...
2020-05-27 14:26:02,901 INFO [main] org.apache.nifi.nar.NarAutoLoader NAR Auto-Loader started
2020-05-27 14:26:02,902 INFO [main] org.apache.nifi.web.server.JettyServer NiFi has started. The UI is available at the following URLs:
2020-05-27 14:26:02,903 INFO [main] org.apache.nifi.web.server.JettyServer http://******:8080/nifi
2020-05-27 14:26:02,903 INFO [main] org.apache.nifi.web.server.JettyServer http://127.0.0.1:8080/nifi
2020-05-27 14:26:02,906 INFO [main] org.apache.nifi.BootstrapListener Successfully initiated communication with Bootstrap
2020-05-27 14:2