带你体验Apache NIFI新建数据同步流程(NIFI入门)

本文旨在引导新手体验Apache NIFI,通过新建一个数据同步流程,讲解NIFI的基本概念和操作步骤。首先介绍NIFI环境和部署,接着演示如何新建Process Group,配置GenerateTableFetch、ExecuteSQLRecord和PutDatabaseRecord组件,实现数据的抓取、处理和写入。通过实例操作,帮助读者初步了解NIFI的使用方法。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

初衷:对于一些新接触Apache NIFI的小伙伴来说,他们急于想体验NIFI,恨不得直接找到一篇文章,照着做就直接能够解决目前遇到的需求或者问题,回想当初的我,也是这个心态。其实这样的心态是不对的。好多加入NIFI学习群的新手同学都会有这个问题,一些基本的概念和知识点都没有掌握,然后提出了一堆很初级的问题,对于这些问题,我们可能已经回答了几十上百次,厌倦了,所以大家一般会说"你先去看文档吧!"。其实,对于一个新手,直接看文档,也是一脸懵。所以在这里,我带领新手的你,新建一个同步的流程,并尽可能在新建流程的同时,穿插一些基本概念。跟随本文一起操作或者只是看看,最后你可能就找到了入门的感觉了。

环境

  • Apache NIFI:1.11.4 单节点
  • Linux:CentOS Linux release 7.5.1804 16G内存 48G存储 虚拟机
  • DB:MySQL

Apache NIFI 部署

获取安装包

  • 我是直接编译的1.11.4的源码获取的安装包,将zip包上传到Linux,解压即可。如何下载源码及编译看编译NIFI源码

  • 通过官方网站下载对应的NIFI安装包:官网下载

  • 通过国内镜像来下载最新发布的NIFI安装包:北理镜像 清华镜像

如果不是编译源码,建议使用国内镜像去下载,一般直接下载zip包就可以了,加入最新版本时1.11.4,那就下载nifi-1.11.4-bin.zip

部署Apache NIFI

  1. 上传Apache NIFI包到Linux上,解压安装包;或者将你的本地作为服务器,直接解压zip包。

  2. 在解压的目录下,找到conf目录,编辑bootstrap.conf文件,修改NIFI的内存配置,默认的值比较小,比如这里我改成启动2g,最大10g

java.arg.2=-Xms2g
java.arg.3=-Xmx10g
  1. 在解压的目录下,找到bin目录,可以看到里面有一些脚本
dump-nifi.bat  
nifi-env.bat  
nifi-env.sh  
nifi.sh         
run-nifi.bat  
status-nifi.bat

Linux或者Mac,使用nifi.sh start启动NIFI,nifi.sh stop停止NIFI,nifi.sh restart重启NIFI。

Windows下,直接双击run-nifi.bat即可,退出的时候关闭运行窗口就可以了。

在解压的目录下,找到log目录,当看到类似于下面的内容时,NIFI就启动成功了

2020-05-27 14:26:02,844 INFO [main] o.eclipse.jetty.server.AbstractConnector Started ServerConnector@58516c91{HTTP/1.1,[http/1.1]}{0.0.0.0:8080}
2020-05-27 14:26:02,845 INFO [main] org.eclipse.jetty.server.Server Started @151563ms
2020-05-27 14:26:02,900 INFO [main] org.apache.nifi.nar.NarAutoLoader Starting NAR Auto-Loader for directory ./extensions ...
2020-05-27 14:26:02,901 INFO [main] org.apache.nifi.nar.NarAutoLoader NAR Auto-Loader started
2020-05-27 14:26:02,902 INFO [main] org.apache.nifi.web.server.JettyServer NiFi has started. The UI is available at the following URLs:
2020-05-27 14:26:02,903 INFO [main] org.apache.nifi.web.server.JettyServer http://******:8080/nifi
2020-05-27 14:26:02,903 INFO [main] org.apache.nifi.web.server.JettyServer http://127.0.0.1:8080/nifi
2020-05-27 14:26:02,906 INFO [main] org.apache.nifi.BootstrapListener Successfully initiated communication with Bootstrap
2020-05-27 14:2
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值