suphieLiang的博客

首先将数据库数据导出CSV文件，再将CSV文件转换成json格式文件 CSV在线转json地址：CSV在线转json 使用kibana在Elasticsearch中建立一个新的index POST /company_basic/info/_mapping?pretty 其中company_basic为index名，info为type名。 在nifi中建立如下组件 其中GetFile

processer中有putElasticsearch和putElasticsearch5，其中putElasticsearch对应的是2.x版本，putElasticsearch5对应的是5.x版本。本机安装的Elasticsearch为5.x版本，故选用putElasticsearch5。建立如下组件关联 putElasticsearch5的配置如下 ElasticSearch Hosts

kibana可视化页面 ：kibana安装地址：5601 首先要在Management中基于Elasticsearch中已有的index建立映射（_mapping） 若Elasticsearch中没有index可以在Dev Tools中使用命令行创建一个indexPOST /company_basic/info/pretty { “properties”:{

基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。 Kafka->logstash->elasticsearch->kibana 下载logstash并解压 进入logstash/config目录新建文件 kafka-logstash-es.conf 编写文件kafka-logstash-es.conf input { //日志写入的数据源

此文章对自定义processor不做详细讲解。 总体流程如下 其中AddT为自定义processor AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同 因此流入的数据应如： {“City”:”“,”param”:”cc”,”Number”:”12345”,”body”:”aa”,”query”:”111”} 数据流入后在rules类中通过一定业务逻辑增加ne