使用nifi将数据库数据上传到Elasticsearch

最新推荐文章于 2024-12-07 21:24:59 发布

原创最新推荐文章于 2024-12-07 21:24:59 发布 · 5.5k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#elasticsearch #nifi #数据 #json #数据库

elasticsearch 同时被 2 个专栏收录

5 篇文章

订阅专栏

nifi

4 篇文章

订阅专栏

本文介绍了如何使用nifi将数据库数据导出为CSV，然后转换成JSON，接着通过Elasticsearch的kibana创建索引，并在nifi中配置流程进行数据上传。在nifi中配置GetFile、SplitJSON和Elasticsearch5组件，通过调整identifier Attribute为fragment.index以确保数据完整性。尽管遇到中文乱码问题，但已成功上传3000条数据到Elasticsearch。

首先将数据库数据导出CSV文件，再将CSV文件转换成json格式文件
CSV在线转json地址：CSV在线转json
使用kibana在Elasticsearch中建立一个新的index
POST /company_basic/info/_mapping?pretty 其中company_basic为index名，info为type名。
这里写图片描述
在nifi中建立如下组件

其中GetFile配置如下

splitjson用于获取每一个json

Elasticsearch5的配置如下

其中踩雷的地方就是identifier Attribute 一开始写的是filename，因为上文提到过，就是随机找了一个key，但再次，行不通，因为3000条数据放进去之后只有一条数据。于是重新将split json 连到logAttribute
发现这里写图片描述 fragment.index为2999故猜测fragment.index应为0—2999可以唯一标识每一个json段。
程序成功跑通，在kibana可视化页面可以成功看到3000条数据。但发现中文乱码，目前正在尝试解决，望有大神提点一二。