使用nifi将数据库数据上传到Elasticsearch

最新推荐文章于 2025-06-09 20:30:00 发布
最新推荐文章于 2025-06-09 20:30:00 发布
阅读量5.4k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： nifi elasticsearch 文章标签： elasticsearch nifi 数据 json 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/suphieLiang/article/details/78393766
本文介绍了如何使用nifi将数据库数据导出为CSV，然后转换成JSON，接着通过Elasticsearch的kibana创建索引，并在nifi中配置流程进行数据上传。在nifi中配置GetFile、SplitJSON和Elasticsearch5组件，通过调整identifier Attribute为fragment.index以确保数据完整性。尽管遇到中文乱码问题，但已成功上传3000条数据到Elasticsearch。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

首先将数据库数据导出CSV文件，再将CSV文件转换成json格式文件
CSV在线转json地址：CSV在线转json
使用kibana在Elasticsearch中建立一个新的index
POST /company_basic/info/_mapping?pretty 其中company_basic为index名，info为type名。
这里写图片描述
在nifi中建立如下组件
这里写图片描述
其中GetFile配置如下
这里写图片描述
splitjson用于获取每一个json

最低0.47元/天 解锁文章

200万优质内容无限畅学
Apache NiFi最全面试题及参考答案
大模型大数据攻城狮的专栏
10-03 1039
同时，NiFi 也可以根据监控数据提供反馈，例如当某个处理器的处理速度过慢时，可以自动调整连接的流量控制参数，以提高系统的整体性能。其次，报告任务可以监控处理器的性能。同时，NiFi 提供了细粒度的授权机制，可以为不同的用户或用户组分配不同的权限，如读取、写入、删除数据等。例如，ConvertJSONToAvro 处理器可以将 JSON 格式的数据转换为 Avro 格式，Filter 处理器可以根据特定条件过滤数据，MergeContent 处理器可以将多个 FlowFile 的内容合并为一个。
【大数据】Flink + Kafka 实现通用流式数据处理详解
热门推荐
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
nifi通过自定义processor将数据流入Elasticsearch
suphieLiang的博客
01-02 2916
此文章对自定义processor不做详细讲解。 总体流程如下 其中AddT为自定义processor AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同 因此流入的数据应如： {“City”:”“,”param”:”cc”,”Number”:”12345”,”body”:”aa”,”query”:”111”} 数据流入后在rules类中通过一定业务逻辑增加ne
docker中部署ApacheNifi连接elasticsearch并通过nifi发送JSON数据到elasticsearch索引中
believer
09-12 4260
1.第一步在docker中先拉取nifi和es的镜像，不会拉取镜像的私聊我。 2.第二步分别启动两个容器，不会启动容器或者不会创建容器的，可以私聊我 3.第三步分别用浏览器打开nifi和es，nifi网址http://127.0.0.1:8080/nifi/   es：http://127.0.0.1:9200推荐使用谷歌浏览器自带head插件 4.nifi配置两个处理器，一个是ge...
NIFI的处理器：SplitJson 2.4.0
最新发布
tizaitian的专栏
06-09 291
该处理器将JSON文件拆分为由JsonPath表达式指定的数组元素的多个单独的FlowFiles。每个生成的FlowFile都由指定数组的一个元素组成，并传输到关系“split”，原始文件传输到“original”关系。需要知道的是，该处理器支持添加自定义的属性，这样就可以进行一些扩展。比如，当不同类型的设备采集数据通过不同的数据流汇入时，可以对各类型的设备采集数据定义不同的属性值，以在数据流的下游业务系统进行区分。值为$.*时，表示按各个元素进行拆分。Max String Length：支持的最大长度。
Nifi--从Mysql抛转数据到Elasticsearch
u013071014的博客
01-10 2054
Nifi–从Mysql抛转数据到Elasticsearch 1. 概览 2. QueryDatabaseTable SCHEDULING —> Run Schedule需要设置大一点，否则会频繁查询数据库； Database Connection Pooling Service 第一次创建没有连接池，可以新增一个DBCP连接池； 创建连接池以后，点击右侧Go To按钮配置连接信息，包含：连接地址、驱动、驱动jar包地址、用户名、密码。配置完成后将状态置为Enable; T
nifi 实现数据库到数据库之间数据同步
sinat_28371057的博客
11-21 2537
数据同步 　　界面如下： 　　　　 　　具体流程： 　　　　1、使用ExecuteSQL连接mysql数据库，通过写sql查询所需要的数据 　　　　2、nifi默认查出来的数据为Avro格式，所以需要ConvertAvroToJSON把Avro格式转化为json格式的数据 　　　　3、使用ConvertJSONToSQL把json数据转化为sql语句 　　　　4、使用PutSQL把数据存入数据库。 　　　　5、同步的数据重复插入数据库，需要对数据进行更新操作，SplitJson对json进行
使用nifi将mysql数据全量后增量的数据同步到Elasticsearch 中
linxuehh的博客
08-15 540
本文详细介绍了如何使用NiFi将MySQL中的数据全量后增量地同步到Elasticsearch。文章提供了模板获取链接，并具体说明了将MySQL的test_addition表数据全量导入到Elasticsearch中的land_aoi索引，然后每小时增量同步一次的过程。文章还附带了流程截图，并重点说明了表结构、建索引语句，以及使用ExecuteScript通过轮廓数据计算中心点来获取location的处理方法。
NiFi在实时数据管道构建中的地位：最佳实践与策略
本文全面介绍了Apache NiFi在构建实时数据管道中的应用，涵盖其基础概念、架构特点以及在不同场景下的使用。详细探讨了NiFi数据流的设计理念、开发原则和性能调优方法，并针对大数据处理、企业级数据集成及物联网...
Mercury Web界面：模拟有效载荷发布至Nifi，集成Elastic和Neo4j
- 在Nifi工作流处理后的数据将被发送至Elasticsearch和Neo4j数据库，其中用户可以对数据进行搜索和复杂的关系可视化。 描述中涉及的开发实践和工具使用： 1. **Create-React-App**： - Create-React-App是...
Elasticsearch与ApacheNifi的整合与应用
AI天才研究院
01-28 778
1.背景介绍 1. 背景介绍 Elasticsearch 是一个开源的搜索和分析引擎，基于 Lucene 构建，具有实时搜索、数据分析、集群管理等功能。Apache Nifi 是一个用于处理大规模数据的流处理系统，可以实现数据的传输、转换、分析等功能。在现代数据处理和分析中，Elasticsearch 和 Apache Nifi 的整合和应用具有重要意义。 本文将从以下几个方面进行阐述： ...
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上
10-26
Elasticsearch Demo 读取word内容写入到Es上并展示在WebFrom页面上,简单查询根据关键字检索 并高亮显示。
Mysql数据同步Elasticsearch方案总结
chushuaihong0463的博客
10-25 905
前言 要通过elasticsearch实现数据检索,首先要将数据导入elasticsearch,并实现数据源与elasticsearch数据同步.这里使用的数据源是Mysql数据库.目前mysql与elasticsearch常用的同步机制大多是基于插件实现的，常用的插件包括：logstas...
nifi中使用PutElasticsearch
suphieLiang的博客
10-25 2449
processer中有putElasticsearch和putElasticsearch5，其中putElasticsearch对应的是2.x版本，putElasticsearch5对应的是5.x版本。本机安装的Elasticsearch为5.x版本，故选用putElasticsearch5。 建立如下组件关联 putElasticsearch5的配置如下 ElasticSearch Hosts
mysql数据迁移到elasticsearch以及elasticsearch的使用
程序猿学社的博客
10-16 1769
myql表结构改为es结构联合存储 mysql存关键的条件数据，es存具体的数据，通过mysql的主键去批量查询数据
ElasticSearch数据同步
stormkai的专栏
01-03 1251
ElasticSearch中酒店数据来自于mysql数据库，因此MySQL数据发生改变时，ElasticSearch也必须跟着改变，这个就是ElasticSearch和MySQL之间的**数据同步** 增量的有三种方式：同步调用，异步通知，监听binlog
Elasticsearch入门之HTTP高级查询操作
SunnyRivers
12-07 1625
上一篇博客创建索引（创建表 create table）查看索引（查看表show tables）查看单个索引（查看单个表show create table）删除索引（删除表）创建文档（插入数据）根据唯一标识查看文档（根据主键查看一条数据）根据唯一标识修改文档所有字段值（根据主键修改一条数据）根据唯一标识修改文档指定字段值（根据主键修改指定字段的值）根据唯一标识删除文档（根据主键删除对应的一条数据）条件删除文档（根据条件删除数据）
将pg库单表数据通过dataX同步至es
weixin_42574826的博客
11-10 750
背景：后台系统使用的数据库是pg库，需要上线一个统一查询的功能，考虑使用es中的模糊查询来实现，故需要将pg库中数据表的数据同步至es。
浅析Nifi基础入门使用
qq_21790633的博客
08-12 1821
简单Nifi入门指南
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值