NIFI分页获取Postgresql数据到Hbase中_实际操作---大数据之Nifi工作笔记0049

最新推荐文章于 2024-08-06 07:58:06 发布
最新推荐文章于 2024-08-06 07:58:06 发布
阅读量898 收藏
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 移动&低代码&区块链 文章标签： postgresql nifi postgresql nifi pg hbase nifi数据同步 nifi数据库同步
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/130805402
本文详细介绍了如何使用NIFI从Postgresql数据库分页获取数据，并通过PutHbaseJson处理器将数据同步到Hbase中。在过程中，配置了数据库连接池，执行SQL，创建Hbase表，并成功将数据导入。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先看一下整体流程,可以看到这里用的PutHbaseJson处理器,把数据导入到

hbase中的

注意这里也可以使用PutSql导入数据,通过phoenix的jdbc驱动,然后把数据利用PutSql处理器导入到

Hbase中,但是我这里的时候报错了,然后一直没解决,所以最后用了PutHbaseJson处理器,把数据存入到Hbase中去.

 

然后我们再来看首先我们给GenerateTableFetch处理器来配置一下数据库连接池

创建一个数据库连接池

 

起个名字,叫Postgresql-From的数据库连接池

 

jdbc:postgresql://172.19.126.123:5432/postgres?useUni
了解本专栏 订阅专栏 解锁全文 超级会员免费看
NIFI分页获取Mysql数据_导入到Hbase中_并可通过phoenix客户端查询_含金量很高的一篇_搞了好久_实际操作05---大数据之Nifi工作笔记0045
添柴程序猿的专栏
05-09 491
然后再启动EvaluateJsonPath处理器,从json中提取数据,看一下flowfile的属性,已经把数据提取到属性中了。首先我们通过SQuirreL工具,通过这个工具,来查看一下我们的hbase中现在有哪些表,我们去创建一个表去.我们使用,sql,在SQuirrel工具中,创建一张hbase的表,用来存放,我们从mysql中读取的数据.再去打开各个处理器,然后去获取mysql中的对应表中的数据,然后,再去。创建以后我们来用查询sql,查询一下,可以看到,表中现在还没有数据.
NIFI1.21.0_Postgresql和Mysql同时指定库_指定多表_全量同步到Mysql数据库以及Hbase数据库中---大数据之Nifi工作笔记0060
添柴程序猿的专栏
06-20 695
首先上面这个文章已经写过了,但是,那个时候仅仅是把mysql导入到mysql了,现在增加扩展,让postgresql和mysql数据库的数据,通过指定数据库,指定多表,然后直接同步到mysql数据库,同时往hbase原始库也同步一份.然后下面的GenerateTableFetch处理器,这里配置上面的部分,tablename可以看到是从flowfile的属性中获取的,这里是动态的。这是剩余的属性,这个是mysql的入库的部分,然后再看hbase的入库部分。
NiFi 从PostgreSQL同步资料报: table does not exist.
Free Labor 的专栏
09-16 736
1.问题：如下图，左边能成功，右边不成功。两者的差异：左边SQL有schema name。 2.原因：经过分析，发现PgAdmin工具在做ROLE与SCHEMA绑定，它在存储时自动转成小写，造成当前用户登录后，找不到默认的SCHEMA NAME。查看当前默认SCHEMA NAME: show search_path; 3.解决方案 3.1 指定用户对应的SCHEMA ALTER ROLE "USER_NAME" IN DATABASE "DATABASE" SET search_path.
NIFI从mysql导入Hbase
微电子学与固体电子学-俞驰
05-16 629
端口是自定义的 http://desktop:9091/nifi/ 此时没配置完，有页面会提示invalid. 然后点击右边的箭头得到下面的图： 然后点击齿轮,填写表格如下: Database Connection URL jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=true Database Driver Cl...
NIFI配置数据源连接池
wawzc1s13的专栏
06-08 769
NIFI配置数据源连接池
NIFI1.21.0最新版本安装_连接phoenix_单机版_Https登录_什么都没改换了最新版本的NIFI可以连接了_气人_实现插入数据到Hbase_实际操作---大数据之Nifi工作笔记0050
添柴程序猿的专栏
05-24 408
就可以了,可以用了,这个phoenix连不上hbase,这个问题弄了两个星期,今天总于...有着落了...首先修改这里,注意这里是https看到了吗,是https哈,1.9.2的时候我们直接配置的http的。单机安装非常的简单,这里配置一下nifi.properties文件就可以了,但是一定要注意,这里看看内容,我重命名了,把nifi-1.21.0-bin的bin去掉了,好看一些。1.21.0最新版本,这个是需要登录界面的,是需要用户名密码的。来这里下载,最新版本,超级快,阿里云提供的仓库太棒了.
NIFI1.21.0_Mysql到Mysql增量CDC同步中_补充_插入时如果目标表中已存在该数据则自动改为更新数据_Postgresql_Hbase也适用---大数据之Nifi工作笔记0058
添柴程序猿的专栏
06-17 422
但是还有问题,就是如果插入的时候,这个时候对应id的数据在目标表中已经有了,那么这个时候就应该转为更新,数据自动变成更新数据,才能保持数据的一致性.这里数据在插入的时候,如果源表的字段中,有字段是日期类型的,并且如果有null的,上面这两篇文章都写了如何解决了.对应的更新 删除的话,如果想过滤对应的数据库,以及添加,比如要需要更新的数据在目标表中不存在就 变成插入,也是可以做的.这里19号ReplaceText处理器是用来拼接删除的sql的,很简单之前的博文也有不多说了,然后。
NIFI模板PostGreSqlToHbaseByPhoenix-数据从PostGresql实时同步到Hbase-带分页.zip
05-25
NIFI模板PostGreSqlToHbaseByPhoenix-数据从PostGresql实时同步到Hbase-带分页.zip NIFI大数据处理模板,导入以后可以直接将数据从postgresql从通过phoenix拉取到Hbase中去,注意这里,需要自己配置一下phoenix连接...
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_插入修改删除增量数据实时同步_通过分页解决变更记录过大问题_01----大数据之Nifi工作笔记0053
添柴程序猿的专栏
06-07 557
先画出来流程,其实就是GenerateTableFetch处理器,获取分页获取Postgresql11 cdc分页数据的sql,获取分页sql以后,然后ExecuteSQL执行分页sql语句,然后就可以获取到具体的cdc数据,然后再把cdc数据利用ConvertAvroToJSON处理器把cdc的avro数据转换成JSON数据,然后把cdc的json数据用SplitJSON处理器进行分割,分割以后,就把分割后的单条CDC数据,传输给EvaluateJsonPath处理器...我们先弄到这里,去测一下。
Nifi入门实战：CSV写入Postgres
lisacumt的专栏
03-08 2225
Nifi入门实战 一、docker 安装方式 docker pull apache/nifi:1.14.0 # 注意： 日志文件的数据卷可以创建但是nifi在docker运行时候使用的是nifi:nifi账户，其数据卷创建后默认的Owner是root账户，会造成nifi没有写日志文件的问题。 # 数据卷 本机路径:容器路径 # -v $PWD/logs:/opt/nifi/nifi-current/logs \ # 可以使用手动到容器内部 `docker exec -it nifi /bin
NIFI从PostGresql中离线读取数据再导入到MySql中_带有数据分页获取功能_不带分页不能用_NIFI资料太少了---大数据之Nifi工作笔记0039
添柴程序猿的专栏
04-25 513
然后再拖入一个splitjson处理器,把转换后的json数据,进行分割,如果是json数组的话会被分割成一条一条的。这里一定要注意的就是,这里,在postgresql中,写sql的时候要用,单引号,不要用双引号,用双引号执行报错。然后再去拖入一个replacetext处理器,用来把从json中提取的数据,替换到我们自己编写的sql语句中。可以看到执行处理器以后的数据,当然这里,可以看一下flowfile的,队列中的flowfile的属性.然后配置对应的url,驱动名称,驱动位置 ,数据库名称,密码。
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表多表增量同步_增加修改实时同步_使用JsonPath及自定义Python脚本_03---大数据之Nifi工作笔记0055
添柴程序猿的专栏
06-12 415
往postgresql中插入数据,这样的sql是可以的,这里对应的字段id,name..这些加不加"",都可以测试过了,然后表名加不加"",都可以也测试过了,可以看到这里参数需要是''单引号才行.上面是格式化后的内容,然后我们去看一下,EvaluateJsonPath处理器的配置,我们需要提取出,columnnames,columnvalues,oldkeys中的id,还有表名。更新这块花了很长时间,最后找了一个比较通用的做法,然后以后其他的情况就都可以解决了,但是还考虑到了其他问题,不知道会不会出问题.
用NIFI 实现数据库之间数据同步-方法二
wawzc1s13的专栏
06-08 969
当前使用Mysql数据库作为例子，本文不涉及NIFI的安装，可以自行搜索两个数据源表结构要事先建好NIFI版本 1.20.0。
nifi连接mysql_使用NiFi将数据从Mysql导入至HBase
weixin_28909745的博客
01-19 721
1. 启动并登录NiFi1.1 在本机启动nifi./bin/nifi.sh start1.2 登录nifi打开浏览器，访问xxx.xxx.xxx.xxx:8080(默认端口是8080)2. 构建Processor2.1 ExecuteSQL拖一个Processor到面板中，选择ExecuteSQL类型在processor上点击右键-->选择configure-->选择properti...
Apache NiFi之Kafka流数据到HBase
微信公众号：大数据从业者
01-04 282
一.说明 在大数据平台的业务场景中，处理实时kafka数据流数据，以成为必要的能力；此篇将尝试通过Apache NiFi来接入Kafka数据然后处理后存储之HBase 二.开拔 Ⅰ).配置ConsumeKafka_0_10 测试使用了kafka0.10版本，所以NiFi中也选择对于版本 a).选择ConsumeKafka_0_10 在Processor中搜索ConsumeKafka_0_...
大数据之---Nifi-处理器类别_详细了解各种处理器的含义用途---大数据之Nifi工作笔记0007
添柴程序猿的专栏
02-19 632
然后数据的获取可以看到有很多,这里说一下listHDFS其实就是读取一个HDFS目录下的所有的文件名,然后,再把这个包含文件名的FlowFile,流转到FetchHDFS处理器中去,然后,这个FetchHDFS处理器,就会获取每个文件的内容,然后把内容再封装成FlowFiles就可以了.必须做为别的处理器的,后续处理器来使用,别的处理器处理以后生成一个flowFile,而executeStreamCommand会根据这个FlowFile携带的参数,来进一步的进行,执行带参数的命令.
NIFI1.21.0通过Postgresql11的CDC逻辑复制槽实现_指定表或全表增量同步_实现指定整库同步_或指定数据表同步配置_04---大数据之Nifi工作笔记0056
添柴程序猿的专栏
06-12 336
提取以后,然后,继续再提取:$.change[0].kind 这个change里面的数据包括,insert,update,delete这种数据,然后提取$.change[0].table表名.这里也是用EvaluateJsonPath处理器实现,然后继续,使用updataAttribute处理器,添加一个alltable 属性是1...后面先不说,继续看一下下面的流程,如果alltable配置成了2,那么就是需要全量表同步,那么就是,直接就是所有表同步了,其他值,判断不通过,就是不同步.
如何将PostgreSQL的数据实时迁移到SelectDB？
最新发布
抟土成人祖，炼石补青天。眼中览银河，手可摘星辰。
08-06 1005
上述方法都可以实现PostgreSQL到SelectDB的实时数据迁移，具体选择哪种方法取决于你的系统架构、数据量、实时性要求和维护复杂度。Debezium和Kafka：适用于需要高吞吐量和低延迟的数据流处理环境，但需要维护Kafka集群。：适用于需要简单配置和灵活数据转换的场景，界面友好，但需要学习和配置StreamSets。：适用于需要复杂数据流管理和实时处理的场景，强大且灵活，但配置较复杂。选择合适的方法，可以确保数据在不同数据库系统之间的实时同步和一致性。
Apache NiFi用户指南
永无止境
05-18 1524
Apache NiFi用户指南 介绍 Apache NiFi是基于流程编程概念的数据流系统。它支持强大且可扩展的数据路由，转换和系统中介逻辑的有向图。NiFi具有基于Web的用户界面，用于设计，控制，反馈和监控数据流。它在服务质量的几个方面具有高度可配置性，例如容错与保证交付，低延迟与高吞吐量以及基于优先级的排队。NiFi为所有接收，分叉，加入克隆，修改，发送和最终在达到其配置的最终状态时丢弃的数据提供细粒度数据来源。...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值